クラスター数の選択-クラスター検証の基準とドメインの理論的な考慮事項

クラスターの数を選択する必要があるという問題によく直面します。私が最終的に選択するパーティションは、多くの場合、品質基準ではなく視覚的および理論的な懸念に基づいています。

主な質問が2つあります。

1つ目は、クラスターの品質に関する一般的な考え方です。「エルボ」などの基準が理解できることから、コスト関数を参照して最適な値を提案しています。このフレームワークで私が抱えている問題は、最適な基準が理論的な検討に影響されないため、最終的なグループ/クラスターに常に必要となるある程度の複雑さ（研究分野に関連）があることです。

また、のように説明し、ここで最適値はまた、あなたがしているかを考慮して、（例えば経済的制約など）、「下流の目的」制約に関連している何をするつもりクラスタリング事項と。

明らかに、1つの面が意味のある/解釈可能なクラスターを見つけることであり、クラスターが多くなるほど、それらを解釈することが難しくなります。

しかし、常にそうであるとは限りません。8、10、または12個のクラスターが、分析で必要なクラスターの最小の「興味深い」数であることがよくあります。

ただし、肘などの基準では、クラスターがはるかに少ないことが示唆されることが多く、通常は2、3または4です。

Q1。私が知りたいのは、特定の基準（エルボなど）によって提案されたソリューションではなく、より多くのクラスターを選択することを決定した場合の最良の議論の行です。直観的には、制約がない場合（取得したグループの了解度や、非常に多額の場合のコースラの例など）は常に優れているはずです。これを科学雑誌の記事でどのように議論しますか？

別の言い方をすれば、（これらの基準を使用して）クラスターの最小数を特定したら、それよりも多くのクラスターを選択した理由を正当化する必要さえあるということです。意味のある最小限のクラスターを選択する場合にのみ、正当化が行われるべきではありませんか？

Q2。これに関連して、クラスターの数が増えるにつれて、シルエットなどの特定の品質指標が実際にどのように減少するかはわかりません。シルエットにクラスター数のペナルティが表示されないので、どうすればよいですか？理論的には、クラスターが多いほど、クラスターの品質は高くなりますか？

# R code 

library(factoextra)

data("iris")
ir = iris[,-5]

# Hierarchical Clustering, Ward.D
# 5 clusters
ec5  = eclust(ir, FUNcluster = 'hclust', hc_metric = 'euclidean', 
              hc_method = 'ward.D', graph = T, k = 5)
# 20 clusters
ec20 = eclust(ir, FUNcluster = 'hclust', hc_metric = 'euclidean', 
              hc_method = 'ward.D', graph = T, k = 20)

a = fviz_silhouette(ec5)  # silhouette plot
b = fviz_silhouette(ec20) # silhouette plot

c = fviz_cluster(ec5)  # scatter plot
d = fviz_cluster(ec20) # scatter plot

grid.arrange(a,b,c,d)

重要なのは、意味のあるクラスターと、結果のクラスターで何を評価するかを見つけることです。

簡単な例で説明しましょう。例は、かなりよく分離された2つのガウスクラスターです。k-meansを使用してデータを2つまたは3つのクラスターに分割すると、次のパーティションが得られます。

set.seed(1066)
x = c(rnorm(200,0,1), rnorm(200,6,1))
y = rnorm(400,0,1)
XY = data.frame(x,y)

KM2 = kmeans(XY, 2)
KM3 = kmeans(XY, 3)

par(mfrow=c(1,2))
plot(XY, pch=20, col=KM2$cluster+1, asp=1)
plot(XY, pch=20, col=KM3$cluster+1, asp=1)

Silhouetteは、3つではなく2つのクラスターの方が良いと言っています。

library(cluster)
plot(silhouette(KM2$cluster, dist(XY)))
plot(silhouette(KM3$cluster, dist(XY)))

シルエットが下がった理由を確認するのに役立ちます。まず、右側のクラスターでは、シルエットがほとんど変化していないことが簡単にわかります。平均シルエットが大きく低下するのは、左側のクラスターが2つに分割されているためです。どうしてそんなシルエットにならなかったの？先ほど述べたように、メトリックが好むものを確認する必要があります。各ポイントについて、シルエットは、同じクラスター内のポイントと他のポイント間の平均距離を、そのポイントと最も近い他のクラスター間の平均距離と比較します。2つのクラスターがある場合、2つのクラスターのそれぞれのポイントは、他のクラスターから十分に離れていました。3つのクラスターではそうではありません。左側の2つのクラスターのポイントは、互いに真上にあります。これにより、メトリックが低下する可能性があります。シルエットは、クラスター内のポイントが近接しているクラスターに報酬を与えるだけではありません。また、互いに十分に分離されていないクラスターを罰します。

それが「下流の目的」になります。十分に分離されたクラスターを持つことがそれほど重要ではない場合があります。たとえば、画像の色にk平均クラスタリングを使用して、画像圧縮のために類似した色をグループ化できます。その場合、各クラスターが適度に一貫している（コンパクトである）限り、2つのクラスターが互いに接近していてもかまいません。ただし、多くの場合、データのより基本的な構造を理解する方法としてクラスタリングを使用します。たとえば、上記の2つのガウス分布の例では、2つのクラスターが3つのクラスターよりも基礎となる構造を示しています。構造を探している場合は、データ内の自然なグループを最も厳密に表すクラスターの数が必要です。しかし、これらは2つの異なる目標です。

1. 同じクラスター内のポイントが互いに近くにあるポイントのグループ化

2. 異なるクラスターも分離するグループ

同じクラスター内のポイントのみを近接させたい場合は、クラスターが多いほど常に良いという主張は問題ありません。しかし、根底にある構造を発見しようとしている場合、それは良くありません。構造とは、データの内容です。1つのクラスターを2つ呼び出すことは改善されていません。

交差検証は、クラスタリングの問題でも使用できることに注意してください。

たとえば、Kの意味では、クラスターの数が増えると、常に当てはまる目的が減少します。極端なケースは、データポイントの数に等しいクラスターの数であり、目的は$0$。しかし、それは過剰適合モデルであり、テストセットでは失敗します。

私の提案は、ホールドアウトテストデータセットの「クラスタリング品質測定」をチェックすることです。