DBSCANを使用して私のポイントのほとんどがノイズとして分類されるのはなぜですか？

一部のデータをクラスター化するためにsklearnのいくつかのクラスター化アルゴリズムを使用していますが、DBSCANで何が起こっているのか理解できません。私のデータはTfidfVectorizerからのドキュメントタームマトリックスで、数百の前処理されたドキュメントが含まれています。

コード：

tfv = TfidfVectorizer(stop_words=STOP_WORDS, tokenizer=StemTokenizer())
data = tfv.fit_transform(dataset)

db = DBSCAN(eps=eps, min_samples=min_samples)
result = db.fit_predict(data)
svd = TruncatedSVD(n_components=2).fit_transform(data)
// Set the colour of noise pts to black
for i in range(0,len(result)):
        if result[i] == -1:
            result[i] = 7
colors = [LABELS[l] for l in result]
pl.scatter(svd[:,0], svd[:,1], c=colors, s=50, linewidths=0.5, alpha=0.7)

eps = 0.5、min_samples = 5の場合、次のようになります。

基本的に、min_samplesを3に設定しない限り、クラスターをまったく取得できません。

私はeps / min_samples値のさまざまな組み合わせを試して、同様の結果を得ました。常に最初に低密度の領域をクラスター化するようです。なぜこのようにクラスタリングするのですか？TruncatedSVDを誤って使用しているのでしょうか？

元のTFIDFデータのSVD投影スコアの散布図は、実際にいくつかの密度構造を検出する必要があることを示唆しています。それにもかかわらず、これらのデータはDBSCANが提示される入力ではありません。元のTFIDFデータを入力として使用しているようです。

元のTFIDFデータセットがスパースで高次元であることは非常にもっともらしいことです。このようなドメインで密度ベースのクラスターを検出することは、非常に困難です。高次元の密度推定は、適切に難しい問題です。これは、次元の呪いが始まる典型的なシナリオです。この問題（「呪い」）の兆候が見られるだけです。DBSCANによって返された結果のクラスタリング自体はまばらで、手元のデータが異常値に満ちていると（おそらく誤って）想定しています。

少なくとも最初は、DBSCANには、入力として示される散布図の作成に使用される投影スコアが提供されていることをお勧めします。このアプローチは事実上、潜在的意味分析（LSA）になります。LSAでは、分析されたテキストコーパスの単語数を含む行列（またはTFIDFによって返されるものとして正規化された用語文書行列）のSVD分解を使用して、手元のコーパスのテキスト単位間の関係を調査します。