K-meansクラスタリングでクラスターの数を定義する方法は？

最適なクラスター番号を決定する方法はありますか？または、異なる値を試してエラー率を確認して最適な値を決定する必要がありますか？

clustering unsupervised-learning

— バーケイ
ソース

@berkayこの監視なしメソッドのエラー率をどのように定義しますか？（またはSS内を意味しますか？）

— chl

@chl、私はすべてのクラスターまたは全体的な精度の平方誤差の合計を使用できます（この場合、クラスラベルを知っています。）

— バーケイ

@berkay No.クラスターを見つけるための簡単なアルゴリズムは、クラスターの増加数（2で始まり、たとえば9または10で終わる）で20回のk-meansの平均WSSを計算し、このクラスターセット上の最小限のWSS。別の方法は、ギャップ統計です。しかし、すでにラベル付きインスタンスを持っている場合、なぜ教師なしの方法を試しているのですか？

— chl

@chlありがとう、良い質問です。インタンスの特徴に依存するクラスターを推測できます。新しい侵入特性、法的なアプリケーションの模倣を分析しています。

— バーケイ

私はRここで半ダースの方法で（を使用して）同様のQに答えました：stackoverflow.com/a/15376462/1036500-

— ベン

私が使用する方法は、CCC（Cubic Clustering Criteria）を使用することです。クラスターの数を1ずつ増やしてCCCが最大になるまで探し、CCCが減少し始めるのを観察します。その時点で、（ローカル）最大でクラスターの数を取得します。これは、スクリープロットを使用して主成分の数を選択することに似ています。

SASテクニカルレポートA-108立方体クラスタリング基準（pdf）

=観測値の数 =クラスターの数 =変数の数 =クラスターの数 =データ行列 =クラスターの平均行列 =クラスター指標（ if obs 。クラスタ内のそうでなければ、0） $n$
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ $z_{ik}=1$ $i$ $k$

各変数の平均が0であると仮定します：
、 $Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

（合計）マトリックス= =（クラスター間）マトリックス= = $SS$ $T$ $X’X$
$SS$ $B$ （クラスター内）マトリックス= = $M’ Z’Z M$
$SS$ $W$ $T-B$

（トレース=対角要素の合計） $R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$

列を1つの長い列に積み重ねます。 $X$
上の退行クロネッカー積のを有する単位行列を計算する、この回帰の-同じ $Z$ $p\times p$
$R^2$ $R^2$

CCCの考え方は、与えられたクラスターのセットで得られると、次元空間で均一に分布したポイントのセットをクラスター化することで得られるを比較することです。 $R^2$ $R^2$ $p$

— ラルフ・ウィンターズ
ソース

CCC以外の基準もあります。見て、データセット内のクラスタの数を決定する主なものを見て、。

— ビンセントラバトゥット