非線形次元削減：幾何学的/トポロジーアルゴリズムと自動エンコーダ

私が理解しているように、非線形次元削減には3つの主要なアプローチがあります。

• 多様体学習（ISOMAP、LLE、LTSAなどの幾何学的/トポロジーアルゴリズム）
• オートエンコーダー
• 最初の2つのカテゴリに当てはまらないもの（確率に基づくt-SNE、カーネルPCAなど）

最初の2つのアプローチの利点と欠点は何ですか？

オートエンコーダーが、ディープラーニングのようなマニホールドラーニングを完全に上回って、パフォーマンスの点でほとんどの機械学習アルゴリズムに影を落とすのではないでしょうか。

私があなたの質問に答えようとする前に、あなたが言及している方法の間により強い分離を作りたいと思います。

あなたが参照していると私が信じる最初の一連の方法は、エッジベースの距離メトリックを表す近傍グラフが作成される近傍ベースの次元削減方法です。私自身に対して悪魔の支持者を演じるために、MDS / ISOMAPはどちらもカーネルPCAの形式として解釈できます。したがって、この区別は比較的はっきりしているように見えますが、さまざまな解釈により、これらのメソッドはクラス間でシフトしています。

あなたが参照している2番目の方法は、教師なしニューラルネットワーク学習の分野にあります。オートエンコーダーは、入力スペースをより低次元のスペースにマッピングしようとする特殊なアーキテクチャーであり、情報の損失を最小限に抑えて入力スペースにデコードし直すことができます。

最初に、オートエンコーダの利点と欠点について説明します。オートエンコーダーは一般に、いくつかの利点をもたらす確率的勾配降下法のいくつかのバリアントを使用してトレーニングされます。データセットはメモリに収まる必要はなく、動的にロードして勾配降下法でトレーニングできます。データセットをメモリ内に存在させる近隣ベースの学習の多くの方法とは異なります。自動エンコーダーのアーキテクチャーにより、データの事前知識をモデルに組み込むことができます。たとえば、データセットに画像が含まれている場合、2D畳み込みを利用するアーキテクチャを作成できます。データセットに長期間の接続がある時系列が含まれている場合は、ゲート型リカレントネットワークを使用できます（Seq2Seq学習を確認してください）。これは、一般的なニューラルネットワークの能力です。問題に関する事前知識をモデルにエンコードすることができます。これは他のモデル、より具体的には次元削減アルゴリズムでは実行できないことです。

理論的な観点から、いくつかの良い定理があります。ネットワークが深くなるほど、ネットワークで学習可能な機能の複雑さは指数関数的に増加します。一般に、少なくとも何かが発見される前に、正しく選択されたニューラルネットワークよりも表現力があり強力なモデルを見つけることはできません。

これはすべて素晴らしいように聞こえますが、欠点もあります。ニューラルネットワークの収束は非決定的であり、使用するアーキテクチャ、問題の複雑さ、ハイパーパラメータの選択などに大きく依存します。ニューラルネットワークの表現力も問題を引き起こし、適切な正則化が非常に速い場合、それらは非常に迅速に適合しすぎる傾向があります選択/使用されていません。

一方、近傍法は表現力が弱く、ニューラルネットワークよりもはるかに少ないパラメーターに基づいて収束するまで、確定的な時間を費やす傾向があります。

方法の選択は、問題に直接依存します。メモリに収まる小さなデータセットがあり、どのタイプの構造化データ（画像、ビデオ、オーディオ）も使用しない場合、古典的な次元削減がおそらく適切な方法です。しかし、構造が導入されると、問題の複雑さが増し、ニューラルネットワークが増大させるデータの量が正しい選択になります。

お役に立てれば。