バックプロパゲーションアルゴリズム

19

多層パーセプトロン（MLP）で使用される逆伝播アルゴリズムについて少し混乱しました。

エラーはコスト関数によって調整されます。バックプロパゲーションでは、隠れ層の重みを調整しようとしています。私が理解できる出力エラー、つまりe = d - y[添え字なし]。

質問は次のとおりです。

隠れ層のエラーはどのようにして得られますか？どのように計算しますか？
バックプロパゲートする場合、重みを更新するために、適応フィルターのコスト関数として使用する必要がありますか、または（C / C ++で）プログラミングの意味でポインターを使用する必要がありますか？

machine-learning neural-networks backpropagation

— ヒギンズ
ソース

NNはどちらかと言えば時代遅れの技術なので、ここに誰も使用していないので答えが得られないのではないかと思います。

@mbq：私はあなたの言葉を疑いませんが、NNが「時代遅れの技術」であるという結論にどのように到達しますか？

— ステフェン

1

@steffen観察による。つまり、NNコミュニティの重要な人物が誰も出てきて「みんな、ライフワークをやめて、もっと良いもので遊んでみよう！」 -トレーニング終了。そして、人々はそれらを支持してNNを落とします。

5

@mbqと言ったとき、これにはいくらかの真実がありましたが、もうありませんでした。

— ジェラド

1

@jerad非常に簡単です-他の方法との公正な比較はまだ見ていません（特に、すべての高得点チームの結果が非常に近い場合、Kaggleは精度の信頼区間がないため公平な比較ではありません） Merckコンテストのように）、パラメーター最適化の堅牢性の分析も行われません。

回答:

27

興味がある人のために、ここで自己完結型の投稿に答えると思いました。これはここで説明された記法を使用するでしょう。

前書き

バックプロパゲーションの背後にある考え方は、ネットワークのトレーニングに使用する「トレーニング例」のセットを用意することです。これらにはそれぞれ既知の答えがあるため、それらをニューラルネットワークに接続して、どれだけ間違っていたかを見つけることができます。

たとえば、手書き認識では、実際の文字と並んで多くの手書き文字が使用されます。その後、バックプロパゲーションを介してニューラルネットワークをトレーニングして、各シンボルの認識方法を「学習」することができます。そのため、後で未知の手書き文字が表示されると、正しいものを識別できます。

具体的には、いくつかのトレーニングサンプルをニューラルネットワークに入力し、その効果を確認してから、「逆方向にトリクル」して、各ノードの重みとバイアスを変更してより良い結果を得ることができる量を見つけ、それに応じて調整します。これを続けると、ネットワークは「学習」します。

トレーニングプロセスに含まれる可能性のある他の手順（ドロップアウトなど）もありますが、これはこの質問の目的であるため、主にバックプロパゲーションに焦点を当てます。

偏微分

偏微分は、変数に関する微分です。 $\frac{\partial f}{\partial x}$ $f$ $x$

たとえば、、場合、はに関する単なる定数であるためです。同様に、、ので、単にに対して一定である。 $f(x, y)=x^2 + y^2$ $\frac{\partial f}{\partial x}=2x$ $y^2$ $x$ $\frac{\partial f}{\partial y}= 2y$ $x^2$ $y$

でれる関数の勾配は、すべての変数の偏微分を含む関数です。具体的には： $\nabla f$

\nabla f (v_{1}, v_{2}, . . ., v_{n}) = \frac{\partial f}{\partial v_{1}} e_{1} + \dots + \frac{\partial f}{\partial v_{n}} e_{n}

$\nabla f(v_1, v_2, ..., v_n) = \frac{\partial f}{\partial v_1 }\mathbf{e}_1 + \cdots + \frac{\partial f}{\partial v_n }\mathbf{e}_n$ 、

ここで、は変数方向を指す単位ベクトルです。 $e_i$ $v_1$

今、私たちが計算したらいくつかの機能のための、我々は位置にある場合、私たちができる「ダウンスライド」方向に行くことによって。 $\nabla f$ $f$ $(v_1, v_2, ..., v_n)$ $f$ $-\nabla f(v_1, v_2, ..., v_n)$

我々の例では、単位ベクトルであると、なぜならと、およびそれらベクトルは、軸と軸の方向を指します。したがって、。 $f(x, y)=x^2 + y^2$ $e_1=(1, 0)$ $e_2=(0, 1)$ $v_1=x$ $v_2=y$ $x$ $y$ $\nabla f(x, y) = 2x (1, 0) + 2y(0, 1)$

ここで、関数を「下にスライド」するには、ポイントいるとしましょう。次に、方向に移動する必要があります。 $f$ $(-2, 4)$ $-\nabla f(-2, -4)= -(2 \cdot -2 \cdot (1, 0) + 2 \cdot 4 \cdot (0, 1)) = -((-4, 0) + (0, 8))=(4, -8)$

このベクトルの大きさは、丘がどれほど急勾配であるかを示します（値が大きいほど、丘が急になります）。この場合、ます。 $\sqrt{4^2+(-8)^2}\approx 8.944$

勾配降下

アダマール製品

2つの行列のアダマール積は、行列を要素単位で加算する代わりに、要素単位で乗算することを除いて、行列加算と同じです。 $A, B \in R^{n\times m}$

形式的には、行列の加算はですが、は $A + B = C$ $C \in R^{n \times m}$

C_{j}^{i} = A_{j}^{i} + B_{j}^{i}

$C^i_j = A^i_j + B^i_j$ 、

アダマール商品、よう $A \odot B = C$ $C \in R^{n \times m}$

C_{j}^{i} = A_{j}^{i} \cdot B_{j}^{i}

$C^i_j = A^i_j \cdot B^i_j$

勾配の計算

（このセクションのほとんどはNeilsenの本からのものです）。

トレーニングサンプルのセットがあり。ここで、は単一の入力トレーニングサンプルであり、はそのトレーニングサンプルの予想出力値です。また、バイアスおよび重みで構成されるニューラルネットワークもあります。は、フィードフォワードネットワークの定義で使用される、、およびによる混乱を防ぐために使用されます。 $(S, E)$ $S_r$ $E_r$ $W$ $B$ $r$ $i$ $j$ $k$

次に、ニューラルネットワークと単一のトレーニングの例を取り入れて、コスト関数を定義し、それがどれほど良いかを出力します。 $C(W, B, S^r, E^r)$

通常使用されるのは二次コストであり、次のように定義されます

C (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

ここでは入力サンプル与えられた場合のニューラルネットワークへの出力です $a^L$ $S^r$

次に、フィードフォワードニューラルネットワークの各ノードのおよびをます。 $\frac{\partial C}{\partial w^i_j}$ $\frac{\partial C}{\partial b^i_j}$

とを定数と見なすので、これを各ニューロンのの勾配と呼ぶことができます。学習しようとしているときに変更できないためです。私たちがする方向に移動したい-そして、これは理にかなってと最小限に抑え、コストという、およびに対する勾配の負の方向に移動とこれを行います。 $C$ $S^r$ $E^r$ $W$ $B$ $W$ $B$

これを行うには、レイヤーニューロンのエラーとしてを定義します。 $\delta^i_j=\frac{\partial C}{\partial z^i_j}$ $j$ $i$

をニューラルネットワークに接続してを計算から始めます。 $a^L$ $S^r$

そして、私たちは、出力層の誤差、計算経由して、 $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{L})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^L_j)$ 。

次のように書くこともできます

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{L})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^L)$ 。

次に、我々は、エラーを見つける次の層におけるエラーの観点、を介して $\delta^i$ $\delta^{i+1}$

δ^{i} = ((W^{i + 1})^{T} δ^{i + 1}) ⊙ σ^{'} (z^{i})

$\delta^i=((W^{i+1})^T \delta^{i+1}) \odot \sigma^{\prime}(z^i)$

ニューラルネットワークの各ノードにエラーがあるため、重みとバイアスに関する勾配の計算は簡単です。

\frac{\partial C}{\partial w_{j k}^{i}} = δ_{j}^{i} a_{k}^{i - 1} = δ^{i} (a^{i - 1})^{T}

$\frac{\partial C}{\partial w^i_{jk}}=\delta^i_j a^{i-1}_k=\delta^i(a^{i-1})^T$

\frac{\partial C}{\partial b_{j}^{i}} = δ_{j}^{i}

$\frac{\partial C}{\partial b^i_j} = \delta^i_j$

出力層のエラーの方程式は、コスト関数に依存する唯一の方程式であるため、コスト関数に関係なく、最後の3つの方程式は同じであることに注意してください。

例として、二次コストでは、

δ^{L} = (a^{L} - E^{r}) ⊙ σ^{'} (z^{L})

$\delta ^L = (a^L - E^r) \odot \sigma ^ {\prime}(z^L)$

出力層のエラー。次に、この方程式を2番目の方程式にプラグインして、レイヤーのエラーを取得できます。 $L-1^{\text{th}}$

δ^{L - 1} = ((W^{L})^{T} δ^{L}) ⊙ σ^{'} (z^{L - 1})

$\delta^{L-1}=((W^{L})^T \delta^{L}) \odot \sigma^{\prime}(z^{L-1})$

= ((W^{L})^{T} ((a^{L} - E^{r}) ⊙ σ^{'} (z^{L}))) ⊙ σ^{'} (z^{L - 1})

$=((W^{L})^T ((a^L - E^r) \odot \sigma ^ {\prime}(z^L))) \odot \sigma^{\prime}(z^{L-1})$

これは我々がに対して任意の層のエラーを見つけるために、このプロセスを繰り返すことができるその後、我々はに対して任意のノードの重みおよびバイアスの勾配を計算することができ、。 $C$ $C$

必要に応じて、これらの方程式の説明と証明を書くことができますが、それらの証明もここで見つけることができます。ただし、定義から、チェーンルールを自由に適用して、これを読んでいる人にこれらを証明することをお勧めします。 $\delta^i_j=\frac{\partial C}{\partial z^i_j}$

いくつかの例については、ここでいくつかのコスト関数とその勾配のリストを作成しました。

勾配降下

これらの勾配ができたので、学習を使用する必要があります。前のセクションで、ある点に関して曲線を「下にスライド」させる方法を見つけました。この場合、重みとそのノードのバイアスに関するノードの勾配であるため、「座標」はそのノードの現在の重みとバイアスです。これらの座標に関して勾配が既に見つかっているため、これらの値は変更する必要がある量です。

斜面を非常に速い速度で滑り落ちることは望ましくありません。これを防ぐために、「ステップサイズ」です。 $\eta$

次に、それぞれの重みとバイアスをどの程度修正する必要があるかを見つけます。

Δ w_{j k}^{i} = - η \frac{\partial C}{\partial w_{j k}^{i}}

$\Delta w^i_{jk}= -\eta \frac{\partial C}{\partial w^i_{jk}}$

Δ b_{j}^{i} = - η \frac{\partial C}{\partial b_{j}^{i}}

$\Delta b^i_j = -\eta \frac{\partial C}{\partial b^i_j}$

したがって、新しい重みとバイアスは

w_{j k}^{i} = w_{j k}^{i} + Δ w_{j k}^{i}

$w^i_{jk} = w^i_{jk} + \Delta w^i_{jk}$

b_{j}^{i} = b_{j}^{i} + Δ b_{j}^{i}

$b^i_j = b^i_j + \Delta b^i_j$

入力層と出力層のみを持つニューラルネットワークでこのプロセスを使用することをデルタルールと呼びます。

確率的勾配降下

単一のサンプルに対して逆伝播を実行する方法がわかったので、このプロセスを使用してトレーニングセット全体を「学習」する方法が必要です。

1つのオプションは、トレーニングデータの各サンプルに対して逆伝搬を1つずつ実行することです。しかし、これはかなり非効率的です。

より良いアプローチは、確率的勾配降下法です。各サンプルに対して逆伝播を実行する代わりに、トレーニングセットの小さなランダムサンプル（バッチと呼ばれる）を選択し、そのバッチ内の各サンプルに対して逆伝播を実行します。これを行うことにより、すべてのサンプルの勾配を計算することなく、データセットの「意図」をキャプチャできることが期待されます。

たとえば、1000個のサンプルがある場合、サイズ50のバッチを選択し、このバッチ内の各サンプルに対して逆伝播を実行できます。希望するのは、学習する実際のデータの分布を表す十分に大きなトレーニングセットが与えられ、小さなランダムサンプルを選択するだけでこの情報を取得できることです。

ただし、ミニバッチの各トレーニング例で逆伝播を行うことは理想的ではありません。トレーニングサンプルがウェイトとバイアスを修正し、互いに打ち消しあい、それらが到達しないようにする「ぐるぐる回る」ことができるためです。私たちが到達しようとしている最小値。

これを防ぐために、平均でサンプルの勾配が傾斜を指すことが期待されているため、「平均最小値」に移動します。そのため、バッチをランダムに選択した後、バッチの小さなランダムサンプルであるミニバッチを作成します。次に、トレーニングサンプルを含むミニバッチを指定し、ミニバッチ内の各サンプルの勾配を平均化した後にのみ重みとバイアスを更新します。 $n$

正式には、

Δ w_{j k}^{i} = \frac{1}{n} \sum_{r} Δ w_{j k}^{r i}

$\Delta w^{i}_{jk} = \frac{1}{n}\sum\limits_r \Delta w^{ri}_{jk}$

そして

Δ b_{j}^{i} = \frac{1}{n} \sum_{r} Δ b_{j}^{r i}

$\Delta b^{i}_{j} = \frac{1}{n}\sum\limits_r \Delta b^{ri}_{j}$

ここで、はサンプル重みの計算された変化であり、はサンプルバイアスの計算された変化です。 $\Delta w^{ri}_{jk}$ $r$ $\Delta b^{ri}_{j}$ $r$

次に、前と同様に、次の方法で重みとバイアスを更新できます。

w_{j k}^{i} = w_{j k}^{i} + Δ w_{j k}^{i}

$w^i_{jk} = w^i_{jk} + \Delta w^{i}_{jk}$

b_{j}^{i} = b_{j}^{i} + Δ b_{j}^{i}

$b^i_j = b^i_j + \Delta b^{i}_{j}$

これにより、勾配降下の実行方法にある程度の柔軟性が与えられます。多くのローカルミニマムで学習しようとしている関数がある場合、この「ウィグリングアラウンド」動作は実際に望ましいものです。これは、1つのローカルミニマムに「スタック」する可能性がはるかに低く、あるローカルミニマムから「飛び出して」、できればグローバルミニマムに近い別のミニマムに落ちます。したがって、小さなミニバッチが必要です。

一方、ローカルミニマムが非常に少なく、一般に勾配降下がグローバルミニマムに向かうことがわかっている場合は、この「ぐるぐる回る」振る舞いによって坂を下がらないようにするため、より大きなミニバッチが必要です。好きなように。こちらをご覧ください。

1つの選択肢は、バッチ全体を1つのミニバッチと見なして、可能な限り最大のミニバッチを選択することです。これは、バッチの勾配を単純に平均化するため、バッチ勾配降下法と呼ばれます。ただし、これは非常に非効率的であるため、実際にはほとんど使用されません。

— フィリイダ
ソース

6

ここ数年、ニューラルネットワークを扱っていませんが、必要なものはすべてここで見つかると思います。

ニューラルネットワーク-体系的な入門、第7章：バックプロパゲーションアルゴリズム

ここに直接答えを書いていないことをおpoびしますが、覚えておくために詳細を調べなければならないので（あなたのように）、バックアップなしの答えは役に立たないかもしれないので、これで大丈夫です。ただし、質問が残っている場合は、コメントをドロップすると、何ができるかがわかります。

— ステフェン
ソース

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.