神経正味重量減衰と学習率の違い

ニューラルネットワークのコンテキストでは、学習率と体重減少の違いは何ですか？

neural-networks terminology

回答:

161

学習率は、更新ステップが重みの現在の値にどの程度影響するかを決定するパラメーターです。重み減衰は、他の更新がスケジュールされていない場合、重みを指数関数的にゼロに減衰させる重み更新ルールの追加用語です。

したがって、最小化したいコスト関数またはエラー関数あるとします。勾配降下は、の最急降下の方向に重みを変更するように指示し：ここで、は学習率であり、それが大きい場合は、それに応じて重み大きな変更が行われます（一般に、大きすぎてはいけません。そうでなければ、コスト関数の極小値をオーバーシュートします）。 $E(\mathbf{w})$ $\mathbf{w}$ $E$

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}},

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}, \end{equation}$

η

$\eta$

w_{i}

$w_i$

モデルの空きパラメータの数を効果的に制限して、過剰適合を回避するために、コスト関数を正規化することができます。これを行う簡単な方法は、重みの前にゼロ平均ガウスを導入することです。これは、コスト関数をに変更することと同等です。。実際には、これは大きな重みにペナルティを課し、モデルの自由度を効果的に制限します。正則化パラメーターは、元のコストと大きな重みペナルティとのトレードオフを決定します。 $\widetilde{E}(\mathbf{w})=E(\mathbf{w})+\frac{\lambda}{2}\mathbf{w}^2$ $\lambda$ $E$

この新しいコスト関数に勾配降下法を適用すると、正則化に由来する新しい項により、重みはそのサイズに比例して減衰します。

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}} - η λ w_{i} .

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}-\eta\lambda w_i. \end{equation}$

- η λ w_{i}

$-\eta\lambda w_i$

— Mrig
ソース

有用な説明をありがとう。質問：「nnet」Rパッケージには、「decay」と呼ばれるニューラルネットワークのトレーニングで使用されるパラメーターがあります。減衰がラムダに対応するか、eta * lambdaに対応するかを知っていますか？

— アンドレアイアンニ

また、後者に慣れている人にとっては、体重減少はL2正則化と同じことです。

— セルゲイ

@セルゲイ、この誤報の拡散を止めてください！これは、バニラSGDの非常に特殊な場合にのみ当てはまります。Adam論文の重量減衰の修正を参照してください。

— ルーカスB

明確にするため：執筆時点で、AdamのPyTorchのドキュメントでは、「重量減衰」（括弧で「L2ペナルティ」と呼ばれます）という用語を使用して、著者がL2規制と呼んでいるものを指します。私の理解が正しければ、この回答は、勢いのないSGDを指し、2つは同等です。

— ディランF

@mrigの答え（+1）に加えて、ニューラルネットワークの多くの実用的なアプリケーションでは、Levenberg-Marquardt（小中規模ネットワーク）やスケーリングされた共役勾配降下（中大）などのより高度な最適化アルゴリズムを使用することをお勧めしますネットワーク）、これらははるかに高速であり、学習率を設定する必要はありません（両方のアルゴリズムは、曲率と勾配を使用して基本的に学習率を調整します）。適切なニューラルネットワークパッケージまたはライブラリには、これらのメソッドのいずれかの実装がありますが、そうでないパッケージはおそらく廃止されます。私は、MATLAB用のNETLABライブラリを使用していますが、これはすばらしいキットです。

— ディクラン・マースピアル
ソース

Rpropベースの最適化アルゴリズムはどうですか？彼らはどのように積み重ねますか？

— 電源

ほとんどの人は、RMSProp、adagrad、SGD + nesterovの運動量などのrprop + momentumのバリアントを使用していると思います。cs231クラスを参照してください。

— facuq

もちろん、アプリケーションによって異なります。しかし、今やちょっとトレンディな大規模なデータセット/ネットワークの場合、人々は私が言及したアルゴリズムがより適していると思います。

— facuq 16

@DikranMarsupialそれは、今日（あなたの答えからほぼ5年後）人々が代わりにAdamを使う傾向があるからでしょうか？

— コンピューター

実際、この答えは非常に時代遅れです。これらのアルゴリズムは、今日の典型的なモデルとデータセットの規模では実用的ではなく、最も広く使用されているパッケージは確かに時代遅れではなく、これらのアルゴリズムを欠いています。

— LucasB

私は簡単な用語：

learning_rate：ニューラルネットワークモデルが問題を学習する速度を制御します。

ref：https : //machinelearningmastery.com/learning-rate-for-deep-learning-neural-networks/

wight_decay：これは、過剰適合を回避するために使用される正則化手法です。

ref：https : //metacademy.org/graphs/concepts/weight_decay_neural_networks

— ケタン・ビシュワカルマ
ソース