畳み込みニューラルネットワークのトレーニング

現在、畳み込みニューラルネットワークを使用して顔を認識する顔認識ソフトウェアに取り組んでいます。私の測定値に基づいて、トレーニング中の時間を節約するために、畳み込みニューラルネットワークが重みを共有していることを集めました。しかし、畳み込みニューラルネットワークで使用できるように、逆伝播をどのように適応させるのでしょうか。逆伝播では、これに似た式を使用して重みをトレーニングします。

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

ただし、畳み込みニューラルネットワークでは重みが共有されているため、各重みは複数のニューロンで使用されるので、どのニューロンを使用するかをどのように決定しOutput of InputNeuronますか？

つまり、重みは共有されているので、重みをどれだけ変更するかをどのように決定すればよいのでしょうか。

最初に、wieghtが共有されていないかのようにすべての更新を計算する必要がありますが、それらを保存するだけで、実際にはまだ更新を実行しません。

してみましょうもいくつかの重量をその場所に表示されますあなたのネットワークとでここで、は学習率、は目的関数です。この時点で、あなたが希望だけupade共有重みを持っていなかった場合は、その注意として 共有された重みを処理するには、個々の更新をすべて合計する必要があります。したがって、 から、更新し $w_k$$I_k = \{(i,j) \colon w_{i,j} = w_k\}$ ηJW、I、J、W、I、J=WI、J+ΔWI、J。ΔWK=Σ（I、J）∈ I K ΔWI、J、W、K=WK+ΔWK$\Delta w_{i,j} = -\eta \frac{\partial J}{\partial w_{i,j}}$$\eta$$J$$w_{i,j}$

$$w_{i,j} = w_{i,j} + \Delta w_{i,j}.$$ $$\Delta w_k = \sum_{(i,j) \in I_k} \Delta w_{i,j}$$ $$w_k = w_k + \Delta w_k.$$