PCAとオートエンコーダーの違いは何ですか？

PCAと自動エンコーダーの両方が、変位の低減を行うことができますが、それらの違いは何ですか？どのような状況で私は別のものを使うべきですか？

PCAは線形マップに制限されていますが、自動エンコーダーは非線形enoder / decodersを持つことができます。

線形伝達関数を備えた単一層の自動エンコーダーはPCAとほぼ同等です。つまり、AEとPCAによって検出されたは同じではないことを意味しますが、それぞれのまたがる部分空間は同じです。$W$$W$

bayerjが指摘しているように、PCAはオートエンコーダー（AE）がそうではない線形システムを想定する方法です。AEで非線形関数が使用されておらず、隠れ層のニューロンの数が入力のそれよりも小さい場合、PCAとAEは同じ結果をもたらします。そうしないと、AEは別のサブスペースを見つける可能性があります。

注意すべきことの1つは、AEの非表示層は、入力の次元よりも大きな次元である可能性があることです。そのような場合、AEは次元削減を行っていない可能性があります。この場合、1つの機能空間から別の機能空間への変換を行うものとして、新しい機能空間内のデータが変動要因を解きほぐします。

bayerjへの応答において、複数のレイヤーが非常に複雑な非線形を意味するかどうかについての質問について。「非常に複雑な非線形」の意味によっては、これが当てはまる場合があります。しかし、深さは実際により良い一般化を提供しています。多くの方法では、領域の数に等しいサンプル数が必要です。しかし、Bengio et alによると、「などの非常に多数の領域をO （N ）の例で定義できる」ことが判明しています。これは、ネットワークの下位層から下位機能を構成することから生じる表現の複雑さの結果です。$O(2^N)$$O(N)$

これはコメントとして適していますが、その評判が低いため、回答として提供されます。

私は、bayerj：sの答えに近いという概念とやや混同しました。ニューラルネットワークの読み取りと主成分分析：証明が与えられた局所最小値のない例からの学習。

'自動連想場合...、従ってユニークローカルおよびグローバルに最適なマップWは、第によって張られる空間上に直交射影での固有ベクトルΣ X X「」 $p$$\Sigma_{XX}$

これは、PCAが対応する対応するスペースではありませんか？

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$