テキスト検索エンジンを構築するには？

HTML文字列があり、その文字列に関連する単語が含まれているかどうかを確認したいと考えています。

関連性は、テキストの頻度に基づいて測定できます。

私の問題を説明する例：

this is an awesome bike store
bikes can be purchased online.
the bikes we own rock.
check out our bike store now

次に、他のいくつかの単語をテストします。

bike repairs
dog poo

bike repairs関連としてマークするdog poo必要がありますが、関連としてマークしないでください。

質問：

• これはどのように行うことができますか？
• inまたはなどのあいまいな単語を除外する方法or

あなたのアイデアをありがとう！

私はそれがどんなキーワードがウェブサイトに関連しているのかを理解するためにグーグルがすることだと思います。私は基本的に彼らのページ上のランキングを再現しようとしています。

• ドキュメントを前処理します（一部のステップはスキップされる場合があります）
  • トークン化
  • ストップワードを削除する
  • ステムまたはレンマタイズ
  • 正規化（例、米国->米国、メテオ->メテオなど）と正字法の修正を行います。
  • 音声の正規化を実行します（Soundexなど）
  • 等価クラスを見つける（WordNetなどのシソーラスを使用）
• ベクトル空間モデルを使用してドキュメントを表す（TF、前述のTF-IDFまたは他のモデルを使用できます）
• 同じことをクエリで行います。前処理を行い、ベクトル空間で表現します。
• ベクトルの類似度を計算することにより、最も類似したドキュメントを見つけます（例：コサイン類似度を使用）

これが情報検索プロセスの概要です

Christopher D. Manning、Prabhakar Raghavan、HinrichSchützeによる情報検索入門は、IRを始めるのに非常に良い本です。

または、Apache Solrを使用して必要なすべてをすぐに利用できます（または、独自のアプリケーションを構築するためにSolrで使用されるApache Lucene）

私はずっと前にElastic Searchで遊んだことを覚えています（このWebサイトは、今私が覚えているものとは大きく異なります）。ここに人間の言語を扱うことに関するいくつかのものがあります：http : //www.elasticsearch.org/guide/en/elasticsearch/guide/current/languages.html

Elastic searchは問題の大きなバズーカのようなものです。問題が非常に単純な場合は、最初からやり直したい場合があります。それについてウェブにいくつかのドキュメントがあります。