スケーラブルな次元削減


9

特徴の数が一定であることを考えると、Barnes-Hut t-SNEはの複雑さを持ち、ランダムな投影とPCAは複雑さを持ち、非常に大きなデータセットに対して「手頃」になります。O(nlogn)O(n)

一方、多次元スケーリングに依存するメソッドは複雑さを持っています。O(n2)

複雑さがよりも低い他の次元削減手法(もちろん、最初の列を見るような簡単な手法を除くますか?kO(nlogn)

回答:


5

興味深いオプションは、ニューラルベースの次元削減を調査することです。次元削減のために最も一般的に使用されるネットワークのタイプであるオートエンコーダーは、のコストでトレーニングできます。ここで、はトレーニングの反復を表します(トレーニングデータに依存しないハイパーパラメーターです)。 。したがって、トレーニングの複雑さは単純化されます。O(in)iO(n)

ヒントンとサラクディノフによる2006年のセミナーの仕事[1]を見てみましょう。それ以来、物事は大きく進化しました。現在、ほとんどの目的はVariational Autoencoders [2]によって達成されていますが、基本的な考え方(出力レイヤーでボトルネックレイヤーを挟んで入力を再構築するネットワーク)は変わりません。PCAやRPとは対照的に、オートエンコーダーは非線形次元削減を実行することに注意してください。また、t-SNEとは対照的に、オートエンコーダーはモデル全体を再トレーニングする必要なく、見えないサンプルを変換できます。

実用的な面では、この投稿をご覧になることをお勧めします。この記事では、すばらしいライブラリKerasを使用して、さまざまなタイプのオートエンコーダーを実装する方法について詳しく説明しています。

[1]ヒントン、GE、およびサラクディノフ、RR(2006)。ニューラルネットワークを使用したデータの次元の削減。サイエンス、313(5786)、504〜507。

[2] Kingma、DP、およびWelling、M。(2013)。バリエーションベイの自動エンコード。arXivプレプリントarXiv:1312.6114。


1
技術的にはあなたがないではない、この特定のアプローチを使用して、T-SNEと新しいサンプルのためのモデルを再教育する必要があります。lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf
bibliolytic

承知しました。著者はまた、多変量リグレッサをトレーニングして、入力データサンプルからのマップの位置を予測する方法を、潜在的なアプローチとして提案しました。この論文では、著者がt-SNE損失を直接最小限に抑えるようにニューラルネットワークをトレーニングしていると述べています。ただし、どちらの場合も、明示的なモデルまたは関数を定義してデータポイントを結果の空間にマップする必要があるため、埋め込みを学習するのに十分な(レイヤー/ニューロン)強力である必要がありますが、過度の適合を回避するには多すぎません...これは、標準のt-SNEの使いやすさをある程度犠牲にします。
ダニエル・ロペス

そこには意見の相違は、私はちょうどあなたは、T-SNEは、次元削減のための損失として使用することができますよう見て、あなたの答えにそうであるように、それはコントラストオートエンコーダとt-SNEに少し不正確だと思うん
bibliolytic

もう一度読みましたが、質問:実際に収束することが保証されていないため、ニューラルネットワークは実際にであると言えますか?Big-O表記は最悪の範囲ですよね?O(n)
bibliolytic

ネットワークのトレーニング時にt-SNE損失を計算するのに時間かかるため、私はそれを答えに含めたくありませんでした。ここで、はミニバッチサイズです。O(m2)m
DanielLópez17年

0

すでに述べたオートエンコーダに加えて、ランダムな投影法またはランダムな部分空間法でジョンソンリンデンシュトラウスの補題を利用することができます。ランダム射影はであり、は次元のサンプル数、はターゲット次元のサンプルです(cf [1])。O(kdN)Ndk

少しグーグルすると、特にスパースデータセットの場合に、ごく最近の結果が得られます。

[1] 次元削減におけるランダム投影:画像およびテキストデータへの適用

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.