こんにちは、データサイエンススタックの最初の質問です。テキスト分類のアルゴリズムを作成したい。大量のテキストと記事があるとします。約5000のプレーンテキストとしましょう。最初に単純な関数を使用して、4つ以上のすべての文字単語の頻度を決定します。次に、これを各トレーニングサンプルの機能として使用します。ここで、私のアルゴリズムがトレーニングセットをその特徴に応じてクラスター化できるようにしたいと思います。これは、記事内の各単語の頻度です。（この例では、記事ごとに異なる機能があるため、記事ごとに独自の機能があります。たとえば、記事には10の「水」と23の「純粋」があり、別の記事には8の「政治」と14の「レバレッジ」があります）。この例に最適なクラスタリングアルゴリズムを提案できますか？
回答:
Ted PedersenのSenseCluster（http://senseclusters.sourceforge.net/）を読んだことがあるかどうかはわかりません。センスクラスタリングのための非常に優れた論文。
また、言葉を分析するときは、「コンピュータ」、「コンピュータ」、「コンピュータ」、...は1つの概念を表すので、1つの機能だけを表すと考えてください。正しい分析には非常に重要です。
クラスタリングアルゴリズムについて説明するには、階層的クラスタリングを使用できます。アルゴの各ステップで、特徴に応じて2つの最も類似したテキストをマージします（非類似度の尺度、たとえばユークリッド距離を使用）。非類似度の測定値を使用すると、クラスターの数が最も多くなるため、テキストや記事に最適なクラスターを見つけることができます。
幸運を ：）
それが最良の方法であるとは言えませんが、潜在的意味分析は1つのオプションである可能性があります。基本的には共起に基づいているため、最初に重み付けする必要があります。
http://en.wikipedia.org/wiki/Latent_semantic_analysis
http://lsa.colorado.edu/papers/dp1.LSAintro.pdf
問題は、LSAには確実な統計的サポートがないことです。
楽しんで
テキストを分類する1つの方法は、用語頻度と逆ドキュメント頻度を計算することです。このペーパーを参照できます：http : //www.oracle.com/technetwork/testcontent/feature-preparation-130942.pdf