次元削減のための自動エンコーダーが対称的であるのはなぜですか？

私はオートエンコーダーやニューラルネットワークの専門家ではありませんので、これがばかげた質問であればご容赦ください。

次元削減または高次元データのクラスターの視覚化の目的で、オートエンコーダーを使用して、2つのノードを持つネットワークレイヤーの出力を検査することにより、（損失のある）2次元表現を作成できます。たとえば、次のアーキテクチャでは、3番目の層の出力を検査します

$[X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X]$

ここで、入力データとなるN L内のノードの数であり、L層目。$X$$N_l$$l$

さて、私の質問は、なぜ対称アーキテクチャが必要なのかということです。深い「圧縮」フェーズのミラーは、同様に複雑な「圧縮解除」フェーズがあり、非常に直感的であるように強制されない2ノード出力になる可能性があることを意味しませんか？言い換えると、単純なデコードフェーズを使用すると、2つのノードを持つレイヤーの出力も必然的にシンプルになりませんか？

ここでの私の考えは、圧縮解除フェーズが複雑でないほど、2D表現はより単純（線形に近い）でなければならないということです。より複雑な解凍フェーズでは、より複雑な2D表現が可能になります。

オートエンコーダーの対称性に特定の制約はありません。

当初、人々はそのような対称性を最大限に強化する傾向がありました。レイヤーが対称であるだけでなく、共有されているエンコーダーとデコーダーのレイヤーの重みもあります。これは要件ではありませんが、特定の損失関数（つまりRBMスコアマッチング）を使用でき、最適化するパラメーターの数を半分に減らすことで、正則化として機能できます。しかし、今日では、誰もエンコーダー/デコーダーのウェイトシェアリングを課していないと思います。

アーキテクチャの対称性については、エンコーダーとデコーダーで同じ数のレイヤー、同じタイプのレイヤー、同じレイヤーサイズを見つけるのが一般的ですが、その必要はありません。

たとえば、畳み込みオートエンコーダーでは、以前はエンコーダーの畳み込みレイヤーとデコーダーのデコンボリューションレイヤーを見つけることが非常に一般的でしたが、アーチファクトの問題が少ないため、通常デコーダーのアップサンプリングレイヤーが表示されます。

あなたの質問は間違いなくありますが、「ディープラーニングでXまたはYをすべきですか？」という形式の質問を見つけました。答えは1つだけです。

両方試してください

ディープラーニングは非常に経験的な分野であり、非対称オートエンコーダーがドメインで機能する場合は、それを使用します（そして論文を発行します）。

質問に答えるために、いくつかの広範な実験を行いました。私の実験では、エンコードパス（NNの左脚）には、より少ないがより広いレイヤーが必要であることが示されました。私は通常、半分のレイヤーを使用しますが、エンコードパスのノード数は2倍になりました。これについては説明がありませんが、これらの構成だけで収束が速くなることがよくありました。