10 ^ 10ポイントのアルゴリズムのような高速k-means？

10次​​元の点のセットでk-meansクラスタリングを実行しようとしています。キャッチ：10 ^ 10ポイントがあります。

最大のクラスター（たとえば、10〜100個のクラスター）の中心とサイズだけを探しています。各ポイントがどのクラスターになるかは気にしません。k-meansの使用は特に重要ではありません。私は同様の効果を探していますが、近似的なk-meansまたは関連するアルゴリズムは素晴らしいでしょう（ミニバッチ-SGD平均、...）。GMMはある意味でk-meansと同じ問題なので、同じサイズのデータ​​でGMMを実行することも興味深いです。

この規模では、データをサブサンプリングしても結果はおそらく大幅に変わりません。データの1/10000番目のサンプルを使用して同じ上位10クラスターを見つける確率は非常に良好です。しかしそれでも、それは10 ^ 6ポイントの問題であり、扱いやすいものの端にあります。

k-meansは平均に基づいています。

平均を使用してクラスターをモデル化するため、データを追加することによる改善はわずかです。平均推定の誤差は、1 / sqrt（n）で減少します。より多くのデータを追加しても、益は少なくなります...

このような大規模データの戦略は、常にサンプリングを中心にしています。

準線形ランタイムが必要な場合は、サンプリングを行う必要があります！

実際、Mini-Batch-Kmeansなどはまさにこれを行います。データセットから繰り返しサンプリングします。

ただし、サンプリング（特に不偏サンプリング）も完全に無料ではありません...通常、個々のレコードにランダムにアクセスできないため、サンプリングするためにデータを線形に読み取る必要があります。

MacQueenのアルゴリズムを使用します。オンラインです。デフォルトでは、データを1回通過します（ただし、これを反復するのが一般的です）。配布するのは簡単ではありませんが、SSDから10回と言ってデータを直線的に読み取る余裕があると思いますか？

サイドコメントとして、10 次元データにK-meansを使用すると、次元の呪いに従ってどこにも行き着かない可能性があることに注意してください。もちろん、データの性質によって多少異なりますが、K-Meansが次元に関して奇妙な動作を開始するしきい値を決定しようとすると、7Dのようなものが得られました。7次元の後、正しいクラスターを見逃し始めました（データは4つの十分に分離されたガウス分布に従って手動で生成され、小さな実験にはMATLAB kmeans関数を使用しました）。