オートエンコーダーの再構築で、逆ではなくフォワードアクティベーションと同じアクティベーション機能を使用するのはなぜですか？

あなたは、n個のニューロンと入力層を有し、第一の中間層があるとし典型的で、ニューロンを。次に、次のにして、隠れ層の番目のニューロンの作動を計算します。m < n a j$m$$m < n$$a_j$$j$

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$、ここではまたはような活性化関数です。tanh $f$$\tanh$$\text{sigmoid}$

ネットワークをトレーニングするには、で示される入力の再構成を計算し、と間の誤差を最小化します。ここで、番目の要素は通常、次のように計算されます。z x i $z$$z$$x$$i$$z$

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

なぜ再構築されたは通常、逆関数を使用する代わりに同じ活性化関数を使用して計算されるのか、なぜ結合された重みとバイアスを使用する代わりに別々のとが役立つのでしょうか？次のように、逆活性化関数を使用して再構築を計算すること（たとえば、）を実行する方がはるかに直感的です。w ′ b ′ f − 1$z$$w'$$b'$$f^{-1}$$\text{arctanh}$

ここでは、結合された重み、つまりw '= w ^ Tが使用され、入力層に追加のバイアスセットを導入する代わりに、隠れ層の$w' = w^T$バイアスb_jが使用されることに注意してください$b_j$。

そして、非常に関連する質問：再構成を計算する代わりに、フィーチャを視覚化するために、通常、隠れ層の次元を使用して単位行列を作成します。次に、行列の各列を再活性化関数への入力として使用し、入力ニューロンに出力を誘導します。再活性化関数については、同じ活性化関数（または$z_i$）または逆関数（それぞれ$z'_i$）を使用する方が良いでしょうか？

あなたの仮定は成り立たないと思います。または、どちらかというと必要ではなく、そうした場合でも、何らかの方法で自動的に計算を逆にして、非表示レイヤーフィーチャを作成する必要はありません。この方法では、一般に、nからmを小さくするように圧縮を逆転させることはできません。それが目標であれば、単純な転置ではなく、行列の反転の形式が必要になります。$w' = w^T$

代わりに、圧縮された上位レベルの機能表現に必要であり、自動エンコーダーが終了した後にを破棄します。 w ′ i $w_{ij}$$w'_{ij}$

を設定して重みを結び付けることができます。これは正則化に役立ち、オートエンコーダの一般化に役立ちます。しかし、それは必要ではありません。$w' = w^T$

オートエンコーダーが機能するためには、オートエンコーダーの最後のレイヤーが可能な入力の範囲を表すことができれば、事前トレーニングするレイヤーの後にどのアクティベーション機能を使用するかは実際には問題になりません。ただし、ニューラルネットワークでは通常のように、使用する内容によって結果の品質が異なる場合があります。

これは最も簡単な選択であるため、事前トレーニング済みレイヤーを構築しているのと同じアクティベーション関数を使用することは非常に合理的です。

逆関数の使用も可能ですが、シグモイドやtanhにはお勧めできません。たとえば、arctanhが<-1または> 1で定義されていないため、数値的に安定していない可能性があります。