Googleがハードドライブ検索よりもずっと速いのはなぜですか？

Windows 7またはWindows XPでHD上のファイルを検索すると、処理が完了するまでに数分かかります。Googleで検索語を入力すると、答えはミリ秒単位で画面に表示されます

Googleがインターネットを検索するにはどうすればよいですか？インターネットは、私のハードドライブよりも何倍も大きく、OSがコンピューターを検索するよりも高速ですか？計算能力と適切なアルゴリズムの問​​題だけですか？

Googleはインターネットを検索していません。インデックスを検索しています。Googleには巨大なサーバーファームがあり、常にインターネットをスキャンしてインデックスを作成しています。このプロセスには、インデックス化されていないハードドライブの検索と同じように時間がかかります。Windows 7では、ハードドライブのインデックスを作成するオプションがあります。このプロセスは最初は時間がかかりますが、一度実行されると、検索結果は瞬時に表示されます。

Google検索の仕組みについて詳しく知りたい場合は、Googleの記事「How Search Works」または「How Stuff Works：How Google Works」をご覧ください。

Googleは、イエローページでアドレス（インデックス付き）を検索するようなものです。Windowsの検索は、建物の番号（インデックスなし）を確認するのに似ています。

別の例えとしては、よく整理された図書館とカードのカタログを見るか、単に整理されていない本の山を毎回ソートすることです。

基本的には、検索の前に行われたすべての組織作業が高速化されます。

参考：インデックス化された場所を検索する場合、Windows検索も同じように応答します。

Googleのビジネスは検索（および広告の提供）であり、それに焦点を当てています。Googleがデータを迅速に返送するために行うことは多数あります。

• まず、MapReduceとPageRankを使用して、World Wide Webの包括的なインデックスを生成します。これは定期的に更新されるため、結果は新鮮です。
• そのインデックスは、Googleの多数のサーバーに分散および複製されます
• クエリは複数のサーバーに分割され、返される結果が構築されます。これにより、プロセスを高度に並列化できます。
• 一般的なクエリと結果がキャッシュされるため、検索を実行する必要がまったくなくなります。

検索の仕組みの詳細については、このリンクを参照してください

比較的インデックスなしのハードドライブ検索では、ドライブ上のすべてのファイルを読み取る必要があり、これには多くの時間がかかります。

さらに、ファイルシステムとインデックスの両方をツリーと考えることができます。ファイルシステムでは、ツリーのルートは最上位のフォルダーであり、その1つのフォルダーにブランチ（フォルダー）またはリーフ（ファイル）を持つことができます。各ブランチには、より多くのフォルダ用のサブブランチと、より多くのファイル用のサブブランチを含めることができます。この構造を検索するには、すべてのブランチ（およびサブブランチ）を「ウォーク」して、探しているリーフを見つける必要があります。インデックスはこの階層を反転します。ベースがアルファベットになり、すべてのサブブランチがこれをさらに改良します。葉は、探しているアイテムの場所です。この構造を検索すると、ツリーの大きなセクションを切り取る（除外する）ことができます（たとえば、検索語の最初の文字を使用すると、25個の他のブランチをすぐにトリミングできます）。

約4年前、私も同じ質問をしました。しかし、自分の研究をグーグルで調べたところ、最終的には、彼らが最高の最高の人材を採用して、最も洗練された検索アルゴリズムとそのすべてを考案したという事実を読んだ。

彼らが使用した重要な設計の1つは、地図を縮小するという考え方に似ていると思います。農場には安価なコンピューターがたくさんあります。これらのコンピューターのハードディスク領域は約80ギガしかなく、ハードにプッシュして、これらのコンピューターに（可能な限り）約16ギガRAMまたはさらに優れた32ギガRAMを搭載します。彼らは彼らが設計したいくつかの洗練されたシステムを介して接続されていることを忘れないでください。ただし、ここで重要なのは、クエリが送信されると、クエリがシステムに渡され、RAM内の最新データを検索しようとするということです。彼らはこれらの安価なコンピューターをたくさん持っていることに留意してください。また、データはRAMにあるため、ハードディスクよりもはるかに高速に検出されます。しかし、それらが非常に役立つ洗練された（インデックス付けとすべてのアルゴリズム）システムも持っていることを忘れないでください。

Googleがすべてを保存していることは誰もが知っているので、このデータは新鮮である必要はありません。RAMにあるべきものに関しては、スプレイツリーと同じ原則を使用でき、人々がRAMで最も多く検索しているものを保持し、最も検索されていないものをハードディスクにフラッシュします。

この小さなアイデアと、インデックス作成、および他の人が回答で言及した他のすべてのことが、ハードドライブ検索よりも高速である理由の1つである可能性があります。

• 他の検索に基づいて予測する力。
• データはRAMにある可能性が高く、これは誰もがより高速であることがわかっています。
• 複数のシステムを使用して分割して征服する
• 検索が主な優先事項です。

もちろん間違っているかもしれませんが、これは私にとって理にかなっています。そして、学んだことに満足しました。

Googleは、非常に高度なインデックスシステム、並列操作、および標準のスタンドアロンコンピューターでは利用できない多くの負荷分散技術を使用しています。ウェブ検索とハードディスクのファイル検索の間には実際にはほとんど類似性がなく、グーグルは特定のユースケースのために大幅に最適化します。

2004年に、一部のGoogle従業員が論文を公開しました。MapReduceは、それ以降何百回も改善されました。

また、Hadoop Distribud File System（HDFS）のような分散ファイルシステムであり、目的に合わせて最適化されたGoogle File System（GFS）を使用します。また、私が知る限り、GFSはHDFSよりも千倍高速に動作します。

私も少し前にこの質問をしていたので、これに追加するつもりで、Googleが表面上で行っていることを説明するこれらの素晴らしいビデオを見つけました。見るのが面白い。

Youtube 1での
Google Youtube 2でのGoogle

彼はもう少し深くなりますが、あなたが技術に迷うほど深くはありません。

乾杯。

ここで素晴らしい答えに何かを追加するだけです。Googleは一般的な検索フレーズのキャッシュを使用します。これらの検索の結果はメモリに保存されます。したがって、頻繁に検索されるものを検索すると、結果はほとんどすぐに表示されます。

単純なレベルで質問に答えるには、後ろにキーワードインデックスのある教科書があると想像してください。

ハードディスクを（少なくとも、少なくとも）検索することは、本を1ページずつ調べ、キーワードの出現を各行でスキャンするようなものです。

インターネット検索エンジンを使用することは、インデックスでキーワードを検索し、それが提供するページ番号に直接アクセスするようなものです。

もちろん、実際にはこれよりもはるかに複雑です。たとえば、通常は、インターネットとは異なる種類の情報についてハードディスクを検索します。ただし、基本的なことは、検索エンジンがインデックスを使用していることです。既に単語ごとに「本」を読み終え、それらの単語のリストをそれらがどこにあるかと一緒にまとめ、リストを整理して非常に素早く物を調べられるようにしました。 。

たとえば、本の索引の構成について考えてみましょう。第一に、通常はアルファベット順にソートされ、第二に文字の見出しがある場合があります。インデックスで単語を検索すると、目的の文字で始まる単語のリストがすぐにわかります。また、リストは並べ替えられているため、リスト内で必要な単語を簡単に見つけることができます。

つまり、要約すると、ハードディスクには本だけがあり、検索エンジンにはインデックスがあります。他の人が指摘したように、ソフトウェアを使用してハードディスクのインデックスを作成することは可能です。そして、全体ではなくインデックスを使用できます。

Googleが登場しAuto Completeて使用した理由の1つは、AJAX速度の問題だったと思います。入力中は単語がバックグラウンドで送信されるため、まだ終了していないときにGoogleが仕事の一部を行うことができます。また、インデックスは複数の単語の組み合わせに基づいています（ページの下部で提案として見つけることができます）。現在、ネットワーク速度はハードドライブよりも高速であり、おそらくこれらのインデックスの多くはファーム内のサーバーのRAMにあります。