自動エンコーダとt-SNEの違いは何ですか?


回答:


8

どちらも、データのより低い次元の埋め込みを見つけようとします。ただし、さまざまな最小化の問題があります。より具体的には、オートエンコーダーは再構成エラーを最小限に抑えようとしますが、t-SNEはより低い次元の空間を見つけようとすると同時に、近隣の距離を維持しようとします。この属性の結果として、t-SNEは通常、プロットと視覚化に適しています。


つまり、この意味で、低次元が3Dより大きい場合、自動エンコーダが低次元を見つける方が良いということですか?(下側の寸法が大きいと想定しているため、t-SNEはうまく機能しない可能性がありますか?)
RockTheStar

2
タスクに応じて、多くのタイプのオートエンコーダ(スパース、変分、スタック、畳み込みなど)があります。それらは、再構築エラーに基づいて、より低次元の埋め込みを発見するのに非常に効率的です。したがって、タスクが最適な低次元空間(2Dでも)を見つけることである場合、タスクに適切なオートエンコーダーを選択することをお勧めします。視覚化を行う必要がある場合は、t-SNEを選択することをお勧めします。隣接する距離の保存として、より良い視覚化をもたらすことができます。
Yannis Assael、2015年

2

[オートエンコーダ]は主に、潜在空間でのデータの分散を最大化することに焦点を当てています。その結果、オートエンコーダは、潜在空間でのデータのローカル構造の保持に、マニホールド学習者よりも成功しません...

「ローカル構造を保持することによるパラメトリック埋め込みの学習」から、Laurens van der Maaten(https://lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf


これは「t-SNE論文」ではありません。標準t-SNEはノンパラメトリックです。
アメーバ

1
これについてのコメントをありがとう@amoeba。投稿を編集しました。
User128525

1

[1]で説明されているように、オートエンコーダーとt-SNEを一緒に使用して、高次元データの視覚化を向上させることができます。

特に2D視覚化では、t-SNEがおそらく最良のアルゴリズムですが、通常は比較的低次元のデータが必要です。したがって、高次元データの類似関係を視覚化するための適切な戦略は、オートエンコーダを使用してデータを低次元空間(32次元など)に圧縮し、t-SNEを使用して圧縮データを2D平面にマッピングすることです。 。


[1] https://blog.keras.io/building-autoencoders-in-keras.html


0

オートエンコーダーは、以前のデータを2ノルムの意味で保存するように設計されています。これは、データが速度の場合、データの運動エネルギーを保存すると考えることができます。

t-SNEは対称的ではないKLダイバージェンスを使用しますが、オートエンコーダーは全体的なL2エラーを全体的に小さく抑える傾向がある一方で、t-SNEはローカル構造により焦点を当てるようになります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.