バッチ正規化について

ペーパーバッチ正規化：ディープネットワークトレーニングの加速b y内部共変量シフトの削減（ここ）バッチ正規化のプロセスを説明する前に、ペーパーは関連する問題を説明しようとします（ここで扱われている正確な問題はわかりません）。

セクション2、パラ2からの抜粋：

ネットワークを直接変更するか、最適化アルゴリズムのパラメーターをネットワークのアクティブ化の値に依存するように変更することにより、トレーニングステップごとまたは一定の間隔でアクティブ化を白くすることを検討できます（Wiesler et al。、2014; Raiko et al。、2012 ; Povey et al。、2014; Desjardins＆Kavukcuoglu）。ただし、これらの変更が最適化ステップに散在している場合、勾配降下ステップは、正規化の更新を必要とする方法でパラメーターを更新しようとする場合があり、勾配ステップの影響が減少します。たとえば、学習されたバイアスを追加し、トレーニングデータに対して計算されたアクティベーションの平均を差し引くことによって結果を正規化する入力uを含むレイヤーを考えます。、X = X - E [ X $b$$\hat x= x − E[x]$ここで、 はトレーニングセットのの値のセットであり、 。$x = u + b, X = {x_{1...N}}$$x$$E[x] = \frac 1 N(\sum_{i=1}^nx_i)$

勾配降下ステップがE [x]のbへの依存を無視する場合、を更新します$b ← b + ∆b$。ここで、$∆b ∝ −\partial l/\partial\hat x$です。次に、

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$ です。

したがって、bへの更新とそれに続く正規化の変更を組み合わせても、層の出力は変更されず、結果として損失も発生しません。トレーニングを続けると、損失は固定されたまま、bは無期限に大きくなります。この問題は、正規化が集中するだけでなく、アクティブ化をスケーリングする場合、さらに悪化する可能性があります。

ここに私の文学の理解があります：

1. サイズNのバッチがあります（1つのトレーニングバッチ）

2. パラメータおよびによって接続された互いに接続された2つの任意の隠れ層（L1およびL2）があるとします。$W$$b$

3. L1からの出力はx1です

4. $u = x1W$（これは上記の文献が始まる場所です。uの次元はMxNです）（MはL2の単位数）

5. $x = u+b$（次元b =次元x =次元u = MxN）

6. 今L2にXを供給する前に、我々は、平均減算することにより、それを中心の各エントリから（）$x$$x$$\hat x= x − E[x]$

7. 損失を計算して勾配を逆伝播し、健全性テストを行うためにこのレイヤーののみを更新します。新しい =$b$$b$$b + \Delta b$

8. 同じバッチで、更新されたでもう一度実行します$b$

9. 3と4を繰り返す

10. $x_{new} = u+b + \Delta b$（dimension b、 = dimension x = dimension u = MxN）$\Delta b$

11. ここで、xをL2に入力する前に、各エントリからの平均を引くことにより、中央に配置します（）。これは、bを更新する前に計算されたものと同じです。したがって、bを更新すると、トレーニングに影響がありました。$x$$x$$\hat x = x + \Delta b − E[x + \Delta b] = x - E[x]$

私の質問は抜粋のこの部分です：

「勾配降下ステップがE [x]のbへの依存を無視する場合、を更新します。ここで、です。その後、 "$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

なぜですか

" " その前に来るものに依存？そのビットの要点は何ですか？また、「Then」（太字になっている）という言葉の使用は、ステートメントが必然的に以前のものから因果律を引き出すことを意味することに注意してください。

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

特定のタスクについて、損失を最小限に抑えようとしていると仮定しましょうここではユークレディア距離であり、予測される出力はです。その後、勾配は次のように計算できます。

$$\ell(y, \hat{y}) = \frac{1}{2}\| y - \hat{y}\|^2,$$ $\| \cdot\|$$\hat{y} =\hat{x}$

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial b}, \hspace{20pt} \Delta \omega = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial \omega}$$

これで、バイアスに対するの勾配は$\hat{x}$$b$

$$\frac{\partial\hat{x}}{\partial b} = \frac{\partial}{\partial b}(x-E[x]) = \frac{\partial}{\partial b}\left((u+b)-E[(u+b)]\right) = 1 - \frac{\partial}{\partial b}E[(u+b)]$$

が依存するという事実を無視すると、上記の勾配が1に等しくなるため、次のようにバイアスを更新し続けます。$E(x)$$b$

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[x] = 1 -0 = 1$$ そして

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (1), \hspace{20pt} b \leftarrow b + \Delta b$$

そうでない場合、この依存関係を考慮したい場合、勾配は0になるため、次のように更新されません。

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[u+b] = 1 - \left(\frac{\partial}{\partial b}E[u]+\frac{\partial}{\partial b}E[b]\right) = 1 - (0+1) = 0$$ 次に $$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (0), \hspace{20pt} b \leftarrow b + 0$$

どちらの場合も、バイアスの更新に関係なく、損失関数は固定されたままです。

$$u+(b+\Delta b)−E[u+(b+∆b)]=u+b−E[u+b],$$

ただし、最初のケースでは、バイアスは無限に大きくなります。