バックプロパゲーションですべての初期重みをゼロに設定する危険性

ウェイトをゼロで初期化するのはなぜ危険なのですか？それを示す簡単な例はありますか？

編集は、以下のアルファのコメントを参照してください。私はニューラルネットの専門家ではないので、彼に任せます。

私の理解は、ここに投稿されている他の回答とは異なります。

バックプロパゲーションには、乗算ではなく、既存の重みへの追加が含まれることは間違いありません。追加する金額は、デルタルールで指定されます。wijは方程式の右側に表示されないことに注意してください。

私の理解では、初期重みをゼロに設定しない少なくとも2つの理由があります。

• まず、ニューラルネットワークは局所的な最小値にとどまる傾向があるため、多くの異なる開始値を指定することをお勧めします。それらがすべてゼロから始まる場合、それはできません。

• 第二に、ニューロンが同じ重みで始まる場合、すべてのニューロンは同じ勾配に従い、常に互いに同じことを行うことになります。

ベイジアンネットワークのように、重みを事前確率と考えた場合、これらの入力がシステムに影響を与える可能性がある可能性を排除しました。別の説明は、バックプロパゲーションが、ターゲットと観測値の間の重み付き二乗差を最小化する重みのセットを識別するというものです（E）。それでは、システムの方向を決定する観点から、勾配降下アルゴリズムをどのように方向付けることができますか？パラメータ空間の点に自分を置いています。

バックプロパゲーションアルゴリズムの各反復では、バックプロパゲーションによって決定されたデルタを既存の重みに乗算することにより、重みを更新します。初期ウェイト値が0の場合、デルタの値を乗算してもウェイトは変更されません。つまり、各反復は最適化しようとしているウェイトに影響しません。

重みを同じ値（ゼロだけでなく）に初期化するのが悪い理由の1つは、特定の隠されたレイヤーについて、このレイヤーのすべてのノードがまったく同じ入力を持ち、したがってそれぞれと同じままになるためですその他。

これに対する答えは、完全に「ローカルミニマ/マキシマ」ではありません。

1つ以上の非表示レイヤーがあり、すべてのウェイトが0の場合、Weight_iの変化がどれだけ大きくても小さくても、出力は変化しません。

これは、デルタWeight_iが次の非表示レイヤーによって吸収されるためです。

出力に変化がない場合、勾配はなく、したがって方向もありません。

これはローカルミニマ/マキシマと同じ特性を共有しますが、実際には0が原因であり、技術的に異なります

すべての重みをゼロに初期化する場合の主な問題は、ニューロン値がゼロ（多層の場合）になるか、デルタがゼロになることを数学的に導きます。上記の回答の@alfaによるコメントの1つでは、すでにヒントが提供されていますが、重みとデルタの積はゼロである必要があることが述べられています。これは基本的に、勾配降下の場合、これはピークのすぐ上の丘の上にあり、対称性を破ることができないことを意味します。ランダム性はこの対称性を破り、極小値に達します。少し重みを乱しても、軌道に乗ることになります。参照：データから学ぶ講義10。

次の2つの理由から、これは悪い考えです。

1. シグモイド活性化、または場合は、ウェイトが「一緒に」移動し、空間全体を検索して損失/コストを下げる最適なウェイトを見つける逆伝播の力を制限します。 。$g(0) \neq 0$

2. あなたが持っている場合はまたはReLuの活性化、または何か、すべての出力が0になり、重みのための勾配は常に0になります。したがって、あなたは、まったく学習を持っていません。$\tanh$$g(0) = 0$

これを実証しましょう（簡単にするために、1つのニューロンの最終出力層を想定しています）：

フォワードフィード：すべての重みが0の場合、2番目のレイヤーへの入力はすべてのノードで同じになります。ノードの出力は同じになりますが、それらは0になる次の重みのセットで乗算されるため、次のレイヤーの入力はゼロなどになります。したがって、すべての入力（最初の実際の入力を受け取るレイヤー）は0になり、すべての出力は同じになります（S字型アクティベーションの場合は0.5、およびReLuアクティベーションの場合は0 ）。$\tanh$

バックプロパゲーション：最後のレイヤーだけを調べてみましょう。最終損失（）はネットワークの最終出力（、ここでLは最終層を示します）に依存します。これは、アクティベーション前の最終入力（）、これは最終層の重み（）に依存します。ここで見つけたい： はコスト関数の導関数、は活性化関数の導関数です。に関係なく（$\mathcal{L}$$a^L$$z^L = W^{L} a^{L-1}$$W^{L}$

$$dW^{L}:= \frac{\partial\mathcal{L}}{\partial W^{L}} = \frac{\partial\mathcal{L}}{\partial a^L} \frac{\partial a^L}{\partial z^L} \frac{\partial z^L}{\partial W^{L}}$$ $\frac{\partial\mathcal{L}}{\partial a}$$\frac{\partial a}{\partial z}$$\frac{\partial\mathcal{L}}{\partial a} \frac{\partial a}{\partial z}$）値は、単に前のレイヤーと等しいつまり、に出力されますが、それらはすべて同じであるため、最終結果はすべての要素が等しいベクトルになります。したがって、更新すると、同じ方向に移動します。前のレイヤーについても同じことが言えます。$\frac{\partial z}{\partial W}$ L-1つのDWLWL=WL-αDWL$a^{L-1}$$dW^{L}$$W^L = W^L - \alpha dW^L$

ポイント2は、がゼロに等しいという事実から示すことができます。したがって、ベクトルはゼロでいっぱいになり、学習は達成できません。$a^{L-1}$$dW^L$