t-SNEとMDS

最近、t-SNE（t-Distributed Stochastic Neighbor Embedding）に関するいくつかの質問を読んでおり、MDS（Multidimensional Scaling）に関するいくつかの質問も訪れました。

これらはよく似て使用されることが多いので、ここでは別々に（またはPCAと比較して）両方に多くの質問があるので、この質問をするのは良い考えのように思えました。

要するに、t-SNEとMDSの違いは何ですか？例えば。探索するデータ階層の優れた点、さまざまな仮定など。

収束率？カーネルの使用についてはどうですか、両方とも準拠していますか？

PCAは、N個のデータポイント自体の固有分析によって影響力のあるディメンションを選択し、MDS はペアワイズ距離行列のデータポイントの固有分析によって影響力のあるディメンションを選択します。これには、分布の均一性からの逸脱を強調する効果があります。応力テンソルに類似するように、距離行列を考慮すると、MDSは、実行の複雑された「力指向」レイアウトアルゴリズムとみなすことができるO（D N）3 < ≤ 4。 $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

T-SNEは、otherhandに、減少典型的バーンズ・ハットを介して力指向レイアウトの幾分異なる形態、実行する場近似を使用してへの勾配ベースの複雑さをO（D N ⋅ ログ（N ））が、収束特性は以下のために）私の知る限り、この反復確率的近似法（のために十分に理解されており、2 ≤ D ≤ $\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$通常、観察される典型的な実行時間は、他の次元削減方法よりも長くなります。結果は、単純な固有分析よりも視覚的に解釈されることが多く、分布によっては、MDSの結果よりも直感的であることが多く、t-SNEが保持するローカル構造を犠牲にしてグローバル構造を保存する傾向があります。

MDSはすでにカーネルPCAを単純化したものであり、代替カーネルで拡張可能である必要がありますが、カーネルt-SNEはGilbrecht、Hammer、Schulz、Mokbel、Lueksなどによる研究で説明されています。私は実際にそれをよく知っていませんが、おそらく別の回答者はそうかもしれません。

私は、文脈上の目標に基づいて、MDSとt-SNEを選択する傾向があります。強調することに興味のある構造を説明するもの、より大きな説明力を持つ構造、つまり私が使用するアルゴリズム。これは研究者の自由度の一形態であるため、落とし穴と見なすことができます。しかし、賢明に使用される自由はそれほど悪いことではありません。