コサイン類似度とユークリッド距離（LSA）のK平均

潜在的意味解析を使用して、低次元空間でドキュメントのコーパスを表現しています。これらのドキュメントをk-meansを使用して2つのグループにクラスター化したいと思います。

数年前、私はPythonのgensimを使用してこれを行い、独自のk-meansアルゴリズムを作成しました。ユークリッド距離を使用してクラスターの重心を決定しましたが、重心とのコサイン類似性に基づいて各ドキュメントをクラスター化しました。かなりうまくいったようです。

今、私はこれをはるかに大きなドキュメントのコーパスで実行しようとしています。K-meansは収束しておらず、コードのバグかどうか疑問に思っています。最近読んだのは、コサイン類似度を使用してクラスター化しないことです。k平均はユークリッド距離でのみ機能するためです。私が述べたように、それでも私の小さなテストケースではうまく機能するように見えました。

LSA Wikipediaページでこれに遭遇しました：

ドキュメントと用語ベクトル表現は、コサインのような類似性測定を使用するk-meansのような従来のクラスタリングアルゴリズムを使用してクラスター化できます。

どっち？コサイン類似度を使用できますか？

はい、使用できます。問題は、コサイン類似度が距離ではないことです。これが、類似度と呼ばれる理由です。それでも、ここで説明するように、距離に変換できます。

実際、どんな距離でも使用できます。高次元空間における距離関数の特性に関する非常に優れた研究（通常、情報検索の場合に当てはまります）は、高次元空間における距離メトリックの驚くべき動作です。ただし、ユークリッドとコサインを比較するものではありません。

私はこの研究に出くわし、彼らは高次元の空間では両方の距離が同じように振る舞う傾向があると主張しています。

ユークリッド距離は、ドキュメントまたはドキュメントのクラスターの比較には適していません。ドキュメントを比較するときの重要な問題の1つは、ドキュメントの長さによる正規化です。コサイン類似度はこの種の正規化を実現しますが、ユークリッド距離は実現しません。さらに、ドキュメントは多くの場合、多項確率分布（いわゆるバッグオブワード）としてモデル化されます。コサイン類似度は、類似性を統計的に正当化する方法であるJSダイバージェンスの近似値です。ドキュメントとコサインに関する重要な問題の1つは、カウントに適切なtf-idf正規化を適用する必要があることです。LSA表現を導出するためにgensimを使用している場合、gensimはすでにそれを実行しています。

LSAは単なるSVDであるため、2つのクラスターを使用する場合のもう1つの有用な観察は、ランダムでない初期化が適切に行われることです。次の方法で行います。

• 各ドキュメントの最初のコンポーネントのみを取ります（最初のコンポーネントが一番上の特異ベクトルであると仮定します）。
• 各値のドキュメントIDを追跡して、これらの値を並べ替えます。
• クラスター1 =上位に対応するドキュメントID、たとえば1000（以上）の値
• クラスター2 =下部に対応するドキュメントID、たとえば1000（以上）の値
• 各クラスターのベクトルを平均し、ベクトルの長さで正規化します。
• 次に、この初期化にk-meansを適用します。つまり、（1）ドキュメントを現在最も近い重心に割り当て、（2）再割り当て後に新しい重心を平均化して正規化するだけです。

はい、ベクトル平均による同じ重心更新が機能します。

このペーパーのセクション2.2のm = 1ケースを参照してください。wは重みで、基本k平均アルゴリズムの場合、重みはすべて1です。

この論文では、コーシーシュワルツ不等式の特性を使用して、k平均のコスト関数を最小化する条件を確立します。

また、余弦の類似性はベクトル距離ではないことも覚えておいてください。コサインの非類似性です。（これは適切な検索用語である必要があります。）したがって、パーティションを更新するときは、arg maxではなくを探しますarg min。