バイナリ行列のクラスタリング

次元250k x 100 のバイナリフィーチャの半小さなマトリックスがあります。各行はユーザーであり、列は、「likes_cats」などのユーザー動作のバイナリ「タグ」です。

user  1   2   3   4   5  ...
-------------------------
A     1   0   1   0   1
B     0   1   0   1   0
C     1   0   0   1   0

ユーザーを5〜10個のクラスターに適合させ、負荷を分析して、ユーザーの行動のグループを解釈できるかどうかを確認します。バイナリデータにクラスターをフィッティングするためのアプローチはかなりあるように思われます-このデータに最適な戦略は何だと思いますか？

• PCA

• Jaccard Similarityマトリックスを作成し、階層クラスターを適合させてから、上位の「ノード」を使用します。

• Kメディアン

• K-medoid

• プロキシマス？

• アグネス

これまでのところ、階層的クラスタリングを使用することである程度の成功を収めてきましたが、それが最善の方法であるかどうかは確かではありません。

tags = read.csv("~/tags.csv")
d = dist(tags, method = "binary")
hc = hclust(d, method="ward")
plot(hc)
cluster.means = aggregate(tags,by=list(cutree(hc, k = 6)), mean)

潜在クラス分析は、可能なアプローチの1つです。

A、B、およびCが1または0の値を取ることができる次の確率分布を取ります。

$P(A_i, B_j, C_k)$

これらが互いに独立している場合、次のように表示されます。

$P(A_i, B_j, C_k)=P(A_i)P(B_j)P(C_k)$

この可能性が排除されると、観測された依存性は、観測されていないサブグループ内でクラスタリングされた値によるものであるという仮説を立てることができます。このアイデアをテストするために、次のモデルを推定できます。

$P(A_i, B_j, C_k)=P(X_n)P(A_i|X_n)P(B_j|X_n)P(C_k|X_n)$

ここで、と潜在カテゴリ変数であるレベル。もしspecfy、及びモデルパラメータ（限界クラスメンバーシップの確率、及び各変数のクラスの特定の確率）は期待値最大化を介して推定することができます。$X$$n$$n$

実際には、で複数のモデルを推定し、理論、尤度ベースの適合指数、分類品質（クラスメンバーシップの事後確率を計算することで評価できます）に基づいて最適なモデルを「選択」できます観察）。$5 \le n \le 10$

しかし、おそらくそれ自体（でトリッキーな十分な話題であるモデル、推定する前にダウンし、そのリストを削減する必要があります5-10グループと100個の変数に意味のあるパターンを識別しようとしているREFを）。

実際、頻繁なアイテムセットのマイニングは、そのようなデータをクラスタリングするよりも良い選択かもしれません。

通常のベクトル指向のアルゴリズムのセットはあまり意味がありません。たとえば、K-meansは、バイナリではない平均を生成します。