最大プール層を介したバックプロップ？

これは、しばらくの間私を悩ませてきた小さな概念的な質問です。ニューラルネットワークの最大プール層をどのように逆伝播できますか？

Torch 7のnnライブラリに関するこのチュートリアルを実行しているときに、最大プール層に遭遇しました。このライブラリは、深層ネットワークの各レイヤーの勾配計算とフォワードパスを抽象化します。max-poolingレイヤーの勾配計算がどのように行われるかわかりません。

入力がレイヤーニューロンに入る場合、（として定義される）： ${z_i}^l$$i$$l$${\delta_i}^l$${\delta_i}^l = \frac{\partial E}{\partial {z_i}^l}$

そのため、最大プール層は、通常どおり次の層のを受け取ります。ただし、最大プーリングニューロンの活性化関数は値のベクトル（最大値）を入力として受け取るため、はもう1つの数値ではなく、ベクトル（はます。さらに、最大関数である、その入力に関して微分可能ではありません。${\delta_j}^{l+1}$${\delta_i}^{l}$$\theta^{'}({z_j}^l)$$\nabla \theta(\left\{{z_j}^l\right\})$$\theta$

だから....それは正確にどのように機能するのですか？

非最大値に関する勾配はありません。値をわずかに変更しても出力に影響しないからです。さらに、最大値は、実際に最大値を達成する入力に対して、勾配1で局所的に線形です。したがって、次の層からの勾配は、最大値を達成したニューロンのみに戻されます。他のすべてのニューロンは勾配がゼロになります。

したがって、例では、はすべてゼロのベクトルになりますが、番目の位置の値はただし、$\delta_i^l$$i^*$$\left\{\delta_j^{l+1}\right\}$$i^* = argmax_{i} (z_i^l)$

最大プーリング

したがって、レイヤーPRの上にあるレイヤーPがあるとします。次に、フォワードパスは次のようになります。

$P_i = f(\sum_j W_{ij} PR_j)$、

ここで、はレイヤーPのi番目のニューロンの活性化、fは活性化関数、Wは重みです。したがって、それを導出すると、チェーンルールによって、勾配が次のように流れることがわかります。$P_i$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$。

しかし、今、あなたは最大のプールを持っている場合、 最大ニューロンとのためにのすべての他のニューロンのために、その、前の層とのmaxニューロンのための他のすべてのためにニューロン。そう：$f = id$$f = 0$$f^\prime = 1$$f^\prime = 0$

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$、

$grad(PR_{others}) = 0.$

@Shinvuの答えはよく書かれています。Max （）操作の勾配とこれを把握しやすい計算グラフ内で説明するビデオを指し示したいと思います。

maxpool操作（計算グラフの計算ノード-NNアーキテクチャ）を実装する際に、マトリックスの最大値を追跡する「マスク」マトリックスを作成する関数が必要です。True（1）はXの最大値の位置を示し、他のエントリはFalse（0）です。これは最終的に出力に影響を与える入力値であり、したがってコストに影響するため、最大値の位置を追跡します。Backpropはコストに関して勾配を計算しているため、最終的なコストに影響を与えるものはすべてゼロ以外の勾配を持つ必要があります。そのため、backpropは、コストに影響を与えたこの特定の入力値に勾配を「伝播」します。