次のCNNがあります。

1. サイズ5x5の入力画像から始めます
2. 次に、2x2カーネルとストライド= 1を使用して畳み込みを適用し、サイズ4x4の機能マップを作成します。
3. 次に、ストライド= 2の2x2最大プーリングを適用します。これにより、機能マップがサイズ2x2に縮小されます。
4. 次に、ロジスティックシグモイドを適用します。
5. 次に、2つのニューロンを持つ1つの完全に接続されたレイヤー。
6. そして出力層。

簡単にするために、フォワードパスを既に完了し、δH1= 0.25とδH2= -0.15を計算したと 仮定します。

したがって、完全なフォワードパスと部分的に完了したバックワードパスの後、ネットワークは次のようになります。

次に、非線形層（ロジスティックシグモイド）のデルタを計算します。

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

次に、デルタを4x4レイヤーに伝播し、max-poolingによってフィルター処理されたすべての値を0に設定します。勾配マップは次のようになります。

そこからカーネルの重みを更新するにはどうすればよいですか？また、ネットワークに5x5より前の別の畳み込み層がある場合、カーネルの重みを更新するためにどの値を使用する必要がありますか？そして全体的に、私の計算は正しいですか？

畳み込みは、数学を大幅に複雑にする重み共有の原則を採用していますが、雑草を乗り越えようとします。私はこのソースから私の説明のほとんどを引き出しています。

---

フォワードパス

ご覧のように、畳み込み層のフォワードパスは次のように表現できます。

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

ここで、$k_1$と$k_2$はカーネルのサイズであり、$k_1=k_2=2$です。これは、出力のために言うように、$x_{0,0} = 0.25$あなたが見つけました。$m$および$n$は、カーネルの次元全体で繰り返されます。

誤差逆伝播法

次のように定義された平均二乗誤差（MSE）を使用していると仮定します。

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$、

私たちは決定したい

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

これは、出力スペース全体にわたって繰り返され、出力が寄与しているエラーを決定し、次にその出力に関するカーネルの重みの寄与因子を決定します。

簡単にするため、および逆伝播されたエラーを追跡するために、出力スペースのデルタからエラーへの寄与を呼び出しましょう。

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

重みからの寄与

畳み込みは次のように定義されます

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

したがって、

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

その後、エラー用語に戻ります

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

確率的勾配降下

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

それらのいくつかを計算しましょう

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

配列（[[0.044606、0.094061]、[0.011262、0.068288]]）

$\frac{\partial E}{\partial w}$

---

派生にエラーがあるかどうかを教えてください。

---

更新：修正されたコード