t-SNEがクラスタリングまたは分類の次元削減手法として使用されないのはなぜですか？

最近の割り当てでは、MNISTの数字でPCAを使用して、寸法を64（8 x 8画像）から2に減らすように言われました。その後、ガウス混合モデルを使用して数字をクラスター化する必要がありました。2つの主成分のみを使用するPCAは、明確なクラスターを生成せず、その結果、モデルは有用なグループ化を生成できません。

ただし、2つのコンポーネントを持つt-SNEを使用すると、クラスターの分離が大幅に改善されます。ガウス混合モデルは、t-SNEコンポーネントに適用すると、より明確なクラスターを生成します。

2コンポーネントのPCAと2コンポーネントのt-SNEの違いは、MNISTデータセットに変換が適用された次の画像のペアで見ることができます。

t-SNEは、この回答のように高次元データの視覚化にのみ使用されることを読んでいますが、それが生成する明確なクラスタを考えると、なぜ分類モデルに使用される次元削減手法として使用されないのですか？スタンドアロンのクラスタリング方法？

$t$$t$

$t$$t$

$t$$t$11分類を使用して開始することもできます（これにより、オートエンコーダーの使用に戻ります）。

t-SNEは距離を保持しませんが、基本的に確率分布を推定します。理論的には、t-SNEアルゴリズムは入力を2次元または3次元のマップ空間にマップします。入力空間はガウス分布であり、マップ空間はt分布であると想定されます。使用される損失関数は、勾配降下を使用して最小化される2つの分布間のKL発散です。

t-SNEの共著者であるLaurens van der Maatenによると

t-SNEは距離ではなく確率を保持するため、高Dと低Dでのユークリッド距離の誤差を測定することは役に立ちません。

参照：

https://lvdmaaten.github.io/tsne/

https://www.oreilly.com/learning/an-illustrated-introduction-to-the-t-sne-algorithm

一般的な声明として：十分に強力な（/適切な）分類子、またはcluster-erが与えられた場合、次元削減は適用されません。

次元削減により情報が失われます。

このようなクラスター化または分類器（ESP分類器、クラスター化器ではない）があるため、意味のある空間に何らかの形式の投影を既に組み込んでいます。また、次元削減は、（希望に満ちた）意味のある空間への投影でもあります。

しかし、次元の削減は、情報に基づいていない方法で行う必要があります。どのタスクのために削減するのかわかりません。これは、完全に監視された情報がある分類の場合に特に当てはまります。しかし、それはクラスタリングにも当てはまり、クラスタリングのために投影したいスペースは（このアルゴリズムでは）「次元が少ない」よりも適切に定義されます。@usεr11852の答えはこれについて語っています。削減するタスク-どの次元削減アルゴリズムを使用するかの選択で通知します。

そのため、クラスタリング/分類の前に前処理として次元削減ステップを追加するよりも、有用なプロジェクションを組み込んだ別の分類/クラスター化ツールを使用する方がよい場合がよくあります。

次元の縮小は、このためにそれを行っていますが、（うまくいけば）意味のある空間への投影を作成する際の教師なしの性質です。ラベルデータが少ない場合に便利です。しかし、最終的なタスクを念頭に置いて設計されているため、分類器に密接にリンクしている他のメソッド（たとえば、ニューラルネットワークの場合、深い信念ネットワークの事前トレーニングなどのオートエンコーダーを使用）がよく機能する場合があります。次元削減のより一般的なタスクではありません。