標準および球面k-meansアルゴリズムの違い

標準と球状のk-meansクラスタリングアルゴリズムの主要な実装の違いは何かを理解したいと思います。

各ステップで、k-meansは要素ベクトルとクラスター重心間の距離を計算し、重心が最も近いクラスターにドキュメントを再割り当てします。次に、すべての重心が再計算されます。

球面k-meansでは、すべてのベクトルが正規化され、距離測定は余弦の非類似度です。

それだけですか、それとも何かありますか？

— user1315305
ソース

質問は：

古典的なk-meansと球面k-meansの違いは何ですか？

クラシックK-means：

古典的なk-meansでは、クラスターの中心とクラスターのメンバー間のユークリッド距離を最小化しようとします。この背後にある直感は、クラスターの中心から要素の位置までの半径方向の距離は、そのクラスターのすべての要素で「同一」または「類似」でなければならないということです。

アルゴリズムは次のとおりです。

クラスターの数を設定します（別名クラスター数）
空間内の点をクラスターインデックスにランダムに割り当てて初期化する
収束するまで繰り返す
- 各ポイントについて、最も近いクラスターを見つけ、ポイントをクラスターに割り当てます
- 各クラスターについて、メンバーポイントの平均を見つけ、センターの平均を更新します
- エラーはクラスターの距離のノルムです

球面K-means：

球面k-meansでは、各クラスターの中心を設定して、コンポーネント間の角度を均一かつ最小にするようにします。直感は星を見ているようなものです。ポイントは互いに一定の間隔が必要です。その間隔は「コサイン類似性」として定量化するのが簡単ですが、データの空を横切って大きく明るい帯を形成する「天の川」銀河がないことを意味します。（はい、説明のこの部分でおばあちゃんと話をしようとしています。）

より技術的なバージョン：

ベクトル、向き付きの矢印としてグラフ化するもの、および固定長について考えてください。どこでも翻訳でき、同じベクトルにすることができます。ref

空間内のポイントの方向（基準線からの角度）は、線形代数、特にドット積を使用して計算できます。

テールが同じポイントになるようにすべてのデータを移動すると、角度で「ベクトル」を比較し、類似したものを単一のクラスターにグループ化できます。

わかりやすくするために、ベクトルの長さはスケーリングされているため、「目玉」で比較しやすくなっています。

あなたはそれを星座と考えることができます。単一のクラスター内の星は、ある意味で互いに近接しています。これらは私の星座と考えられている星座です。

一般的なアプローチの価値は、他の方法では幾何学的な次元を持たないベクトルを作成できることです。たとえば、tf-idfメソッドでは、ベクトルはドキュメント内の単語頻度です。追加された2つの「and」ワードは「the」に等しくありません。単語は非連続的で非数値です。それらは幾何学的な意味で物理的ではありませんが、幾何学的に構成し、幾何学的手法を使用してそれらを処理できます。球面k-meansは、単語に基づいてクラスタリングするために使用できます。

（2dランダム、連続）データは次のとおりです：

[\begin{matrix} バツ 1 & y 1 & バツ 2 & y 2 & g r o あなたは p \\ 0 & - 0.8 & - 0.2013 & - 0.7316 & B \\ - 0.8 & 0.1 & - 0.9524 & 0.3639 & A \\ 0.2 & 0.3 & 0.2061 & - 0.1434 & C \\ 0.8 & 0.1 & 0.4787 & 0.153 & B \\ - 0.7 & 0.2 & - 0.7276 & 0.3825 & A \\ 0.9 & 0.9 & 0.748 & 0.6793 & C \end{matrix}]

$\begin{bmatrix} x1&y1&x2&y2&group\\ 0&-0.8&-0.2013&-0.7316&B\\ -0.8&0.1&-0.9524&0.3639&A\\ 0.2&0.3&0.2061&-0.1434&C\\ 0.8&0.1&0.4787&0.153&B\\ -0.7&0.2&-0.7276&0.3825&A\\ 0.9&0.9&0.748&0.6793&C\\ \end{bmatrix}$

いくつかのポイント：

ドキュメントの長さの違いを考慮して、ユニット球体に投影します。

実際のプロセスを見て、私の「目玉」がいかに（悪い）ものだったかを見てみましょう。

手順は次のとおりです。

（問題で暗黙的）原点でベクトルの尾部を接続する
ユニット球体への投影（ドキュメントの長さの違いを考慮するため）
クラスタリングを使用して、「コサインの非類似度」を最小化する

J = \sum_{私} d （ {バツ}_{私} 、 p_{c （ 私 ）} ）

$J = \sum_{i} d \left( x_{i},p_{c\left( i \right)} \right)$ ここで

d （ バツ 、 p ） = 1 - c o s （ バツ 、 p ） = \frac{⟨ バツ 、 p ⟩}{‖ バツ ‖ ‖ p ‖}

$d \left( x,p \right) = 1- cos \left(x,p\right) = \frac{\langle x,p \rangle}{\left \|x \right \|\left \|p \right \|}$

（その他の編集は近日公開予定）

リンク：

— EngrStudent-モニカの復職
ソース

テキストファイルでは、私が「差分」機能ということ整列文字だと思う、または意味のクラスタリングを向上させるために、「クローズ一緒に」テキストの便利な前処理であるかもしれない、重み変化を示している

— EngrStudent -復活モニカ

私は＃1（のリンクで「禁断のアクセス」を取得sci.utah.edu/~weiliu/research/clustering_fmri/...）

— デヴィッド・ドリア

@David-私も。常に動いているのは...インターネットですか？ちょっと待ってください。

— EngrStudent-モニカの復活

少しためらった後、私は現在この答えに反対票を投じることにしました。それはあまりにも「おばあちゃん」の説明であるだけでなく、不正確です。

radial distance from the cluster-center to the element location should "have sameness" or "be similar" for all elements of that cluster

単に不正確または鈍い音。でboth uniform and minimal the angle between components、「コンポーネント」に定義されていません。少し厳密で拡張した場合、潜在的に素晴らしい答えを改善できることを願っています。

— ttnphns