クラスターの正しい数を決める方法は？

クラスターの中心を見つけて、k-meansクラスタリングでk個の異なるクラスタービンにポイントを割り当てます。これは、非常によく知られたアルゴリズムであり、ネット上のほとんどすべての機械学習パッケージにあります。しかし、私の意見で欠けている最も重要な部分は、正しいkの選択です。それに最適な値は何ですか？そして、最高の意味は何ですか？

ここで説明する kを決定する方法としてシルエットプロットを見ることができる科学計算にMATLABを使用します。しかし、私はベイジアンアプローチにもっと興味があります。どんな提案も大歓迎です。

これは、stackoverflowで何度か尋ねられています：here、here、here。そこの群衆がこの質問（またはその小さな変形）についてどう考えているかを見ることができます。

stackoverflow.comで、この質問に対する自分の回答もコピーしてみましょう。

残念ながら、「正しい」Kを自動的に設定する方法はなく、「正しい」とは何かという定義もありません。「正しいK」を設定できる、単純または複雑な原則的な統計的方法はありません。経験則、経験則がありますが、時々うまくいきます。

多くのクラスタリング手法にはこれらのタイプのパラメーターがあるため、状況はより一般的であり、これはクラスタリング/教師なし学習研究コミュニティにおける大きな未解決の問題だと思います。

まず注意点。クラスタリングでは、「正解」は1つもありません。1つのクラスタリングは、1つのメトリックで他のクラスタリングよりも優れている場合があり、別のメトリックを使用すると逆の場合があります。また、状況によっては、同じメトリックで2つの異なるクラスタリングが等しく発生する可能性があります。

そうは言っても、Dirichlet Processesを見たいと思うかもしれません。このチュートリアルも参照してください。

ガウス混合モデルから始める場合、k-meansの場合と同じ問題があります。クラスターの数を選択する必要があります。モデルの証拠を使用できますが、この場合は堅牢ではありません。そのため、混合成分よりも先にディリクレプロセスを使用するのがコツです。これにより、無限数の混合成分を使用できるようになりますが、モデルは（通常）「正しい」数の成分を自動的に検出します（モデル）。

$\alpha$$\alpha$

私はエルボー法を使用します：

• K = 2から始めて、各ステップで1ずつ増やして、クラスターとトレーニングに伴うコストを計算します。Kの値が一定の場合、コストは劇的に低下し、その後さらに増加するとプラトーに達します。これは、必要なK値です。

理由は、この後、クラスターの数を増やすが、新しいクラスターは既存のクラスターの一部に非常に近いということです。

クラスターのサイズは、データと結果の使用目的の両方に大きく依存します。物事をカテゴリに分割するためにデータを使用する場合、最初に必要なカテゴリの数を想像してみてください。データの視覚化を目的とする場合は、構成可能にして、大きなクラスターと小さなクラスターの両方が見えるようにします。

自動化する必要がある場合は、kの増加にペナルティを追加し、最適なクラスターをそのように計算することができます。そして、大量のクラスターが必要か、非常に少ないクラスターかによって、kに重みを付けるだけです。

ここで修正されたバージョンが実装されている、言及した問題（クラスターの数を見つける）を処理する教師なし最適ファジークラスタリングを 確認することもできます。

「Lメソッド」を使用して、地理的アプリケーションのクラスター数を決定することができました（つまり、本質的に2次元の問題ですが、技術的にはユークリッドではありません）。

Lメソッドについては、ここで説明します。 階層的クラスタリング/セグメンテーションアルゴリズムでのクラスター/セグメントの数の決定Stan SalvadorおよびPhilip Chan

基本的に、これはkのさまざまな値の適合を評価します。「L」字型のグラフは、グラフの膝で表される最適なk値で見られます。単純な二重線最小二乗近似計算を使用して、ニーポイントを見つけます。

kの各値について反復k-meansを計算する必要があるため、この方法は非常に遅いことがわかりました。また、複数の実行でk-meansが最適に機能し、最後に最適なものを選択することもわかりました。各データポイントには2つの次元しかありませんでしたが、単純なピタゴラス距離は使用できませんでした。だから、それは多くの計算です。

1つの考えは、kの他のすべての値（たとえば）をスキップして計算の半分にし、k-meansの反復回数を減らしてから、結果の曲線をわずかに滑らかにしてより正確な近似を生成することです。StackOverflow -IMHO でこれについて尋ねましたが、平滑化の質問は未解決の研究質問のままです。

$k$

しかし、データセットが実際にボロノイスキームに適合しない場合はどうでしょうか？

$k$$k$

$k$

全体として、2つの異なるパスでクラスターの数を選択できます。

1. 知識駆動型：ビジネスの観点から必要なクラスターの数のアイデアが必要です。たとえば、顧客をクラスタリングしている場合、これらの顧客を取得した後、次に何をすればよいでしょうか？クラスターごとに異なる治療を受けることになるでしょうか？（たとえば、電子メールまたは電話による広告）。次に、可能な治療をいくつ計画していますか？この例では、100個のクラスターはあまり意味がないと選択します。

2. データ駆動型：クラスターの数が多すぎると、クラスターの数が少なくなります。いつでもデータを半分に分割し、相互検証を実行して、適切なクラスター数を確認できます。クラスタリングでは、監視設定に似た損失機能がまだあることに注意してください。

最後に、現実世界では常に知識駆動型とデータ駆動型を組み合わせて使用​​する必要があります。

まだ誰も指摘していないので、私はこれを共有すると思った。ベイズ情報量基準（BIC）を使用して適切なクラスター数を推定するX-means（このリンクを参照）と呼ばれる方法があります。基本的に、これはKを異なるKで試して、KごとにBICを計算し、最適なKを選択することと似ています。このアルゴリズムは効率的にそれを行います。

wekaの実装もあります。詳細については、こちらを参照してください。

別のアプローチは、個人が異なる長さの染色体を持つ進化アルゴリズムを使用することです。各個人は候補解です。それぞれが重心座標を保持しています。重心の数とその座標は、最適なクラスタリング評価スコアをもたらすソリューションに到達するために進化します。

このペーパーでは、アルゴリズムについて説明します。