文字列（単語）の長いリストを類似グループにクラスタリングする

私には次の問題があります：非常に長い単語のリスト、おそらく名前、姓などがあります。この単語リストをクラスタ化する必要があります。同じクラスター。たとえば、「algorithm」と「alogrithm」は同じクラスターに表示される可能性が高いはずです。

パターン認識の文献で、k-meansクラスタリング、EMクラスタリングなどの古典的な教師なしクラスタリング手法をよく知っています。ここでの問題は、これらのメソッドがベクトル空間にあるポイントで機能することです。私はここで手に弦の言葉を持っています。私のこれまでの調査努力によれば、数値ベクトル空間で文字列を表現し、文字列クラスタの「平均」を計算する方法の問題は十分に答えられていないようです。この問題を攻撃するための単純なアプローチは、k-Meansクラスタリングとレーベンシュタイン距離を組み合わせることですが、「ストリングの「手段」をどのように表現するのか？」という疑問は残ります。TF-IDFウェイトと呼ばれるウェイトがありますが、それは単一の単語のクラスタリングではなく、「テキストドキュメント」クラスタリングの領域にほとんど関連しているようです。 http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

この分野での検索はまだ続いていますが、ここからもアイデアを得たいと思いました。この場合、何をお勧めしますか？この種の問題の方法を知っている人はいますか？

アフィニティ伝播に関する@micanの推奨を再確認します。

論文から：Lフレイ、ブレンダンJ.、およびデルバートデューク 「データポイント間でメッセージを渡すことによるクラスタリング。」科学 315.5814（2007）：972-976。。

その非常に多くのパッケージを介して使いやすい。ペアワイズ類似度を定義できるものなら何でも機能します。これは、レーベンシュタイン距離に-1を掛けることで得られます。

質問の最初の段落を入力として使用して、簡単な例をまとめました。Python 3の場合：

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

出力は、クラスターの左側にあるイタリック体の例です。

• 持っている：チャンス、編集、手、持っている、高い
• 次：次
• 問題：問題
• I： I、a、at、etc、in、list、of
• おそらく：おそらく
• クラスター：クラスター
• word： for、and、for、for、need、need、should、very、word、words
• 類似：類似
• レーベンシュタイン：レーベンシュタイン
• 距離：距離
• the：それ、the、this、to、with
• 同じ：例、リスト、名前、same、such、surnames
• アルゴリズム：アルゴリズム、アルゴリズム
• 登場：登場、登場

50のランダムな名のリストで実行します：

• ダイアン：ディアナ、ダイアン、ディオンヌ、ジェラルド、イリーナ、リゼット、ミンナ、ニッキー、リッキー
• ジャニ：クレア、ジャニ、ジェイソン、Jc、キミ、ラング、マーカス、マキシマ、ランディ、ラウル
• Verline： Destiny、Kellye、Marylin、Mercedes、Sterling、Verline
• グレン：エレノール、グレン、グウェンダ
• アルマンディーナ：アルマンディーナ、オーガスティナ
• シーラ：アーメド、エステラ、ミリッサ、シーラ、トレサ、ワイネル
• ローリーン：オータム、ヘイディー、ローリーン、ローレン
• アルベルト：アルベルタ、アルベルト、ロバート
• Lore： Ammie、Doreen、Eura、Josef、Lore、Lori、Porter

私にはとても素晴らしく見えます（楽しかったです）。

Louvainクラスタリング、制限付き近傍検索クラスタリング（RNSC）、Affinity Propgation Clustering（APC）、またはMarkov Clusterアルゴリズム（MCL）などのグラフクラスタリングアルゴリズムを使用します。

単語のn-gramをベクトル空間エントリとしてベクトル空間モデルを試すことができます。この場合、距離を編集する代わりに、コサイン類似度などの尺度を使用する必要があると思います。