t-sneディメンションには意味がありますか？

t-sne埋め込みの寸法に意味はありますか？PCAのように、線形に変換された分散の最大化の感覚がありますが、t-sneには、KL距離のマッピングと最小化のために定義する空間だけでなく、直感もありますか？

dimensionality-reduction tsne

— ニトロ
ソース

これが本当にあなたが求めているものに到達するかどうかはわかりませんが、t-sneの次元は実際にはデータの分離可能性にのみ依存すると考えています。これは非線形変換であるため、同じデータセットを指定するとディメンションを変更できます。したがって、ディメンションは、特定のインスタンスのコンテキスト内でのみ実際に解釈できます。私が間違っているかどうか教えてください、それは興味深い質問です。

— ホッブズ

たぶんそれは退屈な古いℝ3ですか？

— ニトロ

低次元空間の次元には意味がありません。t-SNE損失関数は、ポイント間の距離（および）およびそれらの距離にわたる確率分布（および）のみに基づいていることに注意してください。 $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{i}} = 4 \sum_{j} (p_{i j} - q_{i j}) (y_{i} - y_{j}) (1 + | | y_{i} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

したがって、高次元空間全体から低次元空間への投影はありません。t-SNEは、特定の高次元ポイントのセットから特定の低次元ポイントのセットへのマッピングのみを検出します。ある空間から他の空間への機能がないため、軸の固有の意味もありません。

これを説明するために想像できること：

高次元または低次元の空間を回転または平行移動しても、ポイント間の距離には影響しません。したがって、t-SNEは両方のスペースでの回転または平行移動を考慮しません。したがって、軸の絶対的な解釈はありません。
t-Student分布には太い尾があります。これにより、低次元表現は、高次元空間で遠く離れたポイントの変化に対して不変になります。また、これにより、高次元空間で遠くにあるポイントは、低次元空間でかなり遠く、遠く、または実際に遠くなる可能性があります。この意味で、低次元軸の特定の部分を（任意の方向に）引き伸ばします。

そうは言っても、t-SNEは主に視覚化手法であり、他の目的での次元削減効果は明らかではありません（おそらく、クラスタリング、特徴抽出、または特徴選択には適していません）。

また、紙。

— ピーター
ソース