私のk-meansクラスタリングアルゴリズムが次元の呪いに苦しんでいることをどうやって知るのですか？

この質問のタイトルがすべてを物語っていると思います。

次元性の呪いとは何かを考えるのに役立ちます。CVには、読む価値のあるいくつかの非常に優れたスレッドがあります。ここから始めましょう： 「次元の呪い」を子供に説明します。

$k$$k$

$10$

$10$$k$$k$

$[0,\ 1]$$[0,\ \sqrt{\sum D}]$

$k$$k$K平均法の欠点を理解する方法）。

私の答えはKの手段に限定されていませんが、距離に基づく方法で次元の呪いがあるかどうかを確認してください。K-meansは距離測定に基づいています（たとえば、ユークリッド距離）

$N$$0.5\cdot N\cdot(N-1)$

次元の呪いの問題がある場合は、これらの値が互いに非常に近いことがわかります。これは非常に直観に反するように見えます。なぜなら、すべての人がすべての人から近いか遠いことを意味し、距離の測定は基本的に役に立たないからです。

ここでは、このような直感に反する結果を示すシミュレーションをいくつか示します。すべてのフィーチャが均一に分布していて、ディメンションが多すぎる場合、すべての距離メトリックはに近いはずです。$\frac 1 6$$\int_{x_i=0}^1\int_{x_j=0}^1 (x_i-x_j)^2 dx_i dx_j$runifrnorm

これは1から500までの次元のシミュレーションです。特徴は0から1までの均一な分布です。

plot(0, type="n",xlim=c(0,0.5),ylim=c(0,50))
abline(v=1/6,lty=2,col=2)
grid()

n_data=1e3
for (p in c(1:5,10,15,20,25,50,100,250,500)){
    x=matrix(runif(n_data*p),ncol=p)
    all_dist=as.vector(dist(x))^2/p
    lines(density(all_dist))
}