バッチを実行するとき、バックプロパゲーションはMax Poolingレイヤーを通じてどのように機能しますか？

学習に100サンプルのバッチサイズを使用していると仮定します。

したがって、すべてのバッチで、すべてのニューロン（およびバイアスなど）の重みは、学習率のマイナス* 100サンプルを使用して見つけた平均エラー値*に関するエラー関数の導関数を追加することによって更新されます。更新されている現在のニューロンの重み。

ここで、最大プールレイヤーを使用する場合、このレイヤーの微分をどのように計算できますか？フィードフォワードするすべてのサンプルで、異なるピクセル（たとえば、）が最大値として選択されているため、異なるパスが選択されるたびに100個を超えるサンプルをバックプロパゲートする場合、どうすればよいですか？私が心に留めている解決策は、最大値として選択されたすべてのピクセルを覚えてから、おそらくすべての最大ピクセルで微分を分割することです。これは何が行われているのですか？

ニューラルネットワークがバッチを処理するとき、各レイヤーのすべてのアクティベーション値が各例に対して計算されます（ライブラリとハードウェアがサポートしている場合は、例ごとに並列で行われる場合があります）。これらの値は、後で使用できるように保存されます。つまり、バッチ内の例ごとにアクティブ化ごとに1つの値であり、決して集約されません。

バックプロパゲーション中、これらのアクティベーション値は、これまでに逆方向に作用して計算されたグラディエントおよび接続の重みとともに、グラディエントを計算する数値ソースの1つとして使用されます。フォワード伝播と同様に、バック伝播は例ごとに適用され、平均値または合計値では機能しません。すべての例が処理されたときのみ、バッチの合計または平均化された勾配を使用します。

これは、最大プールレイヤーにも同様に適用されます。バッチの各例のプーリングレイヤーからの出力が何であるかがわかるだけでなく、前のレイヤーを見て、プールへのどの入力が最大であるかを判断できます。

数学的には、NNレイヤーとニューロンのインデックスを定義する必要がないため、ルールは次のように表現できます。

• $m = max(a,b)$

• $\frac{\partial J}{\partial m}$

• $\frac{\partial J}{\partial a}$$\frac{\partial J}{\partial b}$

• 場合$a > b$

  • $m = a$$\frac{\partial J}{\partial a} = \frac{\partial J}{\partial m}$

  • $m$$b$$\frac{\partial J}{\partial b} = 0$

• $\frac{\partial J}{\partial a} = \frac{\partial J}{\partial m}$$a > b$$\frac{\partial J}{\partial a} = 0$

• $\frac{\partial J}{\partial b} = \frac{\partial J}{\partial m}$$b > a$$\frac{\partial J}{\partial b} = 0$

バックプロパゲーションが最大プーリングレイヤーを通過するとき、グラデーションは例ごとに処理され、最大であった前のレイヤーからの入力にのみ割り当てられます。他の入力はゼロ勾配を取得します。これをバッチ処理しても、違いはありません。例ごとに並列に処理されるだけです。バッチ全体で、これは、最大プールへの入力アクティベーションの1つ以上、おそらくすべてが、勾配の一部のシェアを取得することを意味する可能性があります-それぞれバッチ内の例の異なるサブセットから。

$m$

$a=b$

同じ質問がありますが、Caffeのソースコードを確認するとわかります。

Caffeのソースコードを参照してください。

このコードの620＆631行目。

各入力の（このパラメーターの）導関数を追加して各パラメーターの導関数を計算し、バッチサイズで除算します。

このコードの137行目も参照してください。平均と同じように、導関数を単に1 / iter_sizeにスケーリングします。

BPの場合、最大プーリングレイヤーには特別な処理がないことがわかります。

Max Poolingの派生物について、Caffeのソースコードをもう一度見てみましょう。

このコードの272行目。明らかに、最大の要素の微分のみがであり1*top_diff、他の微分は0*top_diffです。