逆伝播アルゴリズムの運動量項はどのように機能しますか？

運動量項を含むバックプロパゲーションアルゴリズムを使用してニューラルネットワークの重みを更新する場合、学習率を運動量項にも適用する必要がありますか？

運動量の使用に関して私が見つけることができるほとんどの情報は、次のような方程式を持っています。

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

ここで、は学習率、は運動量項です。 $\alpha$ $\mu$

場合用語がより大きくなる次の繰り返しで、その後長期前の反復からは、現在のものよりも重量に大きな影響を持つことになります。 $\mu$ $\alpha$ $\Delta W$

これは勢い用語の目的ですか？または方程式はもっとこのように見えるべきですか？

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

すなわち。すべてを学習率でスケーリングしていますか？

machine-learning neural-networks

— guskenny83
ソース

有するネットワーク内の運動量とバックプロパゲーションを用いて、異なる重み重量ため番目補正によって与えられます。 $n$ $W_k$ $i$ $W_k$

$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ WRT損失の変化である。 $\frac{\partial E}{\partial W_k}$ $W_k$

運動量率の導入により、勾配降下における振動の減衰が可能になります。このアイデアの背後にある幾何学的なアイデアは、線形の場合の固有空間解析の観点から理解するのが最も良いでしょう。最小固有値と最大固有値の比率が大きい場合、行列の調整により学習率が大きくても、勾配降下の実行は遅くなります。運動量は、より低い固有値とより大きな固有値に関連付けられた固有ベクトル間の更新にいくらかのバランスを導入します。

詳細については、私が参照します

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf

— ニコ
ソース

下線は何を意味していますか？

— David Richerby 2014年

計算するときに大丈夫、勢いの用語ように組み込まれている

用語を「新しい」重み値を計算する際に追加のではなく、？ただ、明確にするために、あなたの用語はず

？それとも、率の変化ではなく、実際の体重の割合ですか？お返事と論文へのリンクに感謝します。

Δ W_{k}

$\Delta W_k$

μ W_{k} (i - 1)

$\mu W_k(i-1)$

μ Δ W_{k} (i - 1)

$\mu \Delta W_k(i-1)$

— guskenny83 2014年

間違いを指摘してくれてありがとう。もちろんである

Δ W_{k} (i - 1)

$\Delta W_k(i-1)$

— ニコ

「損失の変動」とはどういう意味ですか？それは「エラーの変動」のようなものですか？

— starbeamrainbowlabs

これは、重みに関する誤差の導関数にすぎません。

— nico