減量減量とは何ですか？

私はディープラーニングから始めて、答えが見つからなかった、おそらく適切に検索できなかったという質問があります。私はこの答えを見ましたが、重量減衰損失とは何か、そしてそれが損失関数とどのように関連しているかはまだはっきりしていません。

重みの減衰は、ニューラルネットワークでの正則化を指定します。

トレーニング中、ネットワークの損失に正則化項が追加され、逆伝播勾配が計算されます。weight decay値は、この正則化項は勾配計算になりますどのように支配的に決定されます。

経験則として、トレーニングの例が多いほど、この用語は弱くなるはずです。あなたが持っているより多くのパラメータがこの用語はより高いはずです。

したがって、ウェイトディケイは、大きなウェイトにペナルティを課す正則化用語です。重みの減衰係数が大きい場合、大きい重みのペナルティも大きくなり、小さい場合、重みは自由に大きくなります。

だから、あなたがあなたの質問にリンクした答えを読むことに戻ったら、それは今完全に理にかなっています。