空間の任意の点に向けてL2正則化を実装する方法は？

11

これは、Ian Goodfellowの本「Deep Learning」で読んだものです。

ニューラルネットワークのコンテキストでは、「L2パラメータのノルムペナルティは一般的に重み減衰として知られています。この正則化戦略は、重みを原点に近づけます[...]。より一般的には、パラメータを任意の特定の点の近くに正則化できます空間内」ですが、モデルパラメータをゼロに向けて正則化するのがはるかに一般的です。（ディープラーニング、グッドフェロー他）

気になるだけです。コスト関数に正則化項を追加するだけで、この合計コスト $J$ を最小化することで、モデルのパラメーターを小さく保つことができることを理解しています。

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

しかし、パラメーターを任意のポイントに導くこの正則化戦略のバージョンをどのように実装しますか？（たとえば、ノルムを5に向けたいとしましょう）

— ジュレップ
ソース

14

あなたは実際に2つの異なる質問をします。

ノルムが5になる傾向があるということは、重みが原点を中心とする半径5の超球の表面の近くにあることを意味します。この正則化は次のようになります。

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

$\lambda \cdot\text{abs}(||w||_2^2-5)$

$c$

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycoraxはモニカを復活させると言います
ソース

J

$J$

（上記の意味を明確にするために短い回答を書きました。ところで、2つの質問の違いを明確にしていただきありがとうございます！）

— user795305

その際の一般的な（実用的な）目標は、既知の操作点に向けて正則化することです。たとえば、置き換えたい以前のモデルで、「スムーズな」移行が必要な場合

— oDDsKooL

6

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycoraxは、同様に、この一般化が成功すると、推定器が提案されますここで、は関数ですその最小化子は、私たちが求めるいくつかの特性を満たします。実際、Sycoraxは 2-5）をとります。ここで、は原点で（一意に）最小化され、特に。したがって、、必要に応じて。残念ながら、しかし、両方の選択肢 $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ 凸でないペナルティにつながり、推定量の計算が困難になります。

上記の分析は、を「傾向」の一意の解釈であると主張する場合、最良の解決策（おそらくの選択までですが、これについて私が提案するものはありません）質問。ただし、があるとすると、いくつかのが存在するため、OPの問題の最小化が満足する。したがって、目的関数を変更する必要ません。そのようなが存在しない場合、計算の問題 $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ は本質的に困難です。実際、自然な特性を奨励する場合、以外の推定量を考慮する必要はありません。

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

（ペナルティ付き見積もり者がペナルティなしの見積もり者によって達成されないペナルティの値を達成することを強制することは、私にとって非常に不自然に思われます。これが実際に望ましい場所に気付いている場合は、コメントしてください！）

— user795305
ソース

1

これはすばらしい追加です。+1

— Sycoraxによると、モニカは2017

2

適切な場合、負の対数尤度と見なすことができ、適切な正則化は、事前分布の負の対数尤度と見なすことができます。このアプローチは、Maximum A Posterori（MAP）と呼ばれます。 $L$ $J$

MAPに照らしてSycoraxの例を簡単に確認できるはずです。

MAPの詳細については、これらのメモを参照してください。私の経験から、「最大の事後正規化」をググリングすると、良い結果が得られます。

— ヤクブ・バルチュク
ソース