ブリッジペナルティとElastic Netの正則化

LASSO（ $L_1$ ）やRidge（ $L_2$ ）など、いくつかのペナルティ関数と近似がよく研究されており、これらが回帰でどのように比較されるかがわかります。

$\sum \|\beta_{j}\|^{\gamma}$ $\gamma = 1$ $\gamma = 2$

Wenjiang [ 1 ]は場合のBridgeペナルティをLASSOと比較しましたが、として与えられるLASSOとRidgeペナルティの組み合わせであるElastic Net正則化との比較を見つけることができませんでした。 $\gamma \geq 1$ $\sum \lambda_{2} \|\beta\|^{2}+\lambda_{1}\|\beta\|_{1}$

Elastic Netとこの特定のBridgeには同様の制約形式があるため、これは興味深い質問です。さまざまなメトリックを使用してこれらの単位円を比較します（ $p$ はミンコフスキー距離の累乗です）。

$p = 1$ はLASSOに対応し、 $p = 2$ はリッジに対応し、 $p = 1.4$ は1つの可能なブリッジに対応します。Elastic Netは、 $L_1$ および $L_2$ ペナルティーに均等に重み付けして生成された。これらの数値は、たとえば、スパース性を特定するのに役立ちます（Elastic NetがLASSOから保存している間、Bridgeは明らかに欠けています）。

では、のBridgeは、正則化（スパース性以外）に関してElastic Netとどのように比較されますか？私は教師あり学習に特別な関心を持っているので、おそらく機能の選択/重み付けに関する議論が適切です。幾何学的な議論も歓迎します。 $1<\gamma <2$

おそらく、もっと重要なのは、この場合、Elastic Netは常に望ましいことでしょうか？

_{[1]フー、WJ（1998）。ペナルティ回帰：橋対投げ縄。ジャーナルの計算およびグラフィック統計、7（3）、397-416。}

編集：この質問がありますどのペナルティ測定値を使用するかを決定するには？LASSO、Ridge、Bridge、Elastic Netに表面的に言及している教科書の一般的なガイドラインや経験則はありませんが、それらを比較する試みはありません。

— ファイアバグ
ソース

接線方向にのみ関連していますが、

ノルムペナルティが係数の独立したラプラス事前分布を持つベイズ回帰のMAP推定値であり、

がガウス事前分布と同じである場合、ブリッジペナルティはサブボチン事前分布に相当するのでしょうか？ ... stats.stackexchange.com/questions/201038/...

L_{1}

$L_1$

L_{2}

$L_2$

— Sycoraxが復活モニカ言う

@RichardHardyすべての大文字で投げ縄を書く必要はありません。こちらのコメントをご覧ください。

— アメーバは、モニカーを復活させる

ブリッジ回帰では、非凸回帰を与える

が許可されることに注意してください。これらは、特にスパースデータから共変量のグループを選択しようとする場合に特に便利です。または、一般に共変量の事前定義グループを作成し、

特定のグループが大きくならないように正規化し、次に

単一グループ係数を正規化してスパース性を実現します。つまり、あなたが書く場合は

、

γ < 1

$\gamma<1$

L^{2}

$L^2$

L^{1}

$L^1$

β = (a_{1}, \dots, a_{k})

$\beta=(a_1,\cdots,a_k)$

あなたは何ができる

。

a_{i} = (β_{i_{1}}, β_{i_{2},}, \dots, β_{i_{r}})

$a_i=(\beta_{i_1},\beta_{i_2,},\cdots,\beta_{i_r})$

λ_{1} ‖ β ‖^{γ_{i}} + λ_{2} \sum_{i} ‖ a_{i} ‖^{ν_{i}}

$\lambda_1 \|\beta\|^{\gamma_i}+\lambda_2\sum_i \|a_i\|^{\nu_i}$

— アレックスR.

@AlexR。私は実際にそれは私が参照してくださいクリアすべきである

。

がBridgeと呼ばれることも知りませんでした。

γ \geq 1

$\gamma \geq 1$

γ < 1

$\gamma < 1$

— Firebug

@ amoeba、OK、元気。投稿全体で大文字の使用が一貫している場合、通常は編集しませんが、今回は「LASSO」と「lasso」の両方があったため、投稿の最初のフォームである「LASSO」に進みました。私は常に頭字語について考えます。それがすべての大文字を使用した理由です。しかし、あなたが言うように、単純な「投げ縄」の方が良いかもしれません。

— リチャードハーディ

ブリッジ回帰とエラスティックネットの違いは、見た目が似ていることを考えると魅力的な質問です。考えられるアプローチの1つを次に示します。ブリッジ回帰問題を解決するとします。その後、エラスティックネットソリューションがどのように異なるかを尋ねることができます。2つの損失関数の勾配を見ると、これについて何かがわかります。

ブリッジ回帰

セイ（独立変数の値を含む行列である点は、X の寸法）を、従属変数の値を含むベクトルであり、重みベクトルです。 $X$ $n$ $d$ $y$ $w$

損失関数は不利大きさ、重みのノルムを： $\ell_q$ $\lambda_b$

L_{b} (w) = ‖ y - X w ‖_{2}^{2} + λ_{b} ‖ w ‖_{q}^{q}

$L_b(w) = \| y - Xw\|_2^2 + \lambda_b \|w\|_q^q$

損失関数の勾配は次のとおりです。

\nabla_{w} L_{b} (w) = - 2 X^{T} (y - X w) + λ_{b} q | w |^{\circ (q - 1)} sgn (w)

$\nabla_w L_b(w) = -2 X^T (y - Xw) + \lambda_b q |w|^{\circ(q-1)} \text{sgn}(w)$

表すベクトルが得られるアダマール変換（すなわち、要素単位）電源、番目の要素であり。は符号関数です（各要素に適用されます）。値によっては、勾配がゼロで未定義になる場合があります。 $v^{\circ c}$ $i$ $v_i^c$ $\text{sgn}(w)$ $w$ $q$

弾性ネット

損失関数は次のとおりです。

L_{e} (w) = ‖ y - X w ‖_{2}^{2} + λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2}

$L_e(w) = \|y - Xw\|_2^2 + \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2$

これは不利の大きさと重みのノルム及びの大きさのノルム。エラスティックネットペーパーでは、この損失関数を最小化すると、「単純なエラスティックネット」と呼ばれます。彼らは、二重収縮を補償するために後で重みを再調整する改良された手順を説明していますが、私は単純なバージョンを分析するつもりです。それは心に留めておくべき警告です。 $\ell_1$ $\lambda_1$ $\ell_2$ $\lambda_2$

損失関数の勾配は次のとおりです。

\nabla_{w} L_{e} (w) = - 2 X^{T} (y - X w) + λ_{1} sgn (w) + 2 λ_{2} w

$\nabla_w L_e(w) = -2 X^T (y - Xw) + \lambda_1 \text{sgn}(w) + 2 \lambda_2 w$

勾配がゼロときに未定義であるにおける絶対値のでペナルティが微分がありません。 $\lambda_1 > 0$ $\ell_1$

アプローチ

ブリッジ回帰問題を解く重みを選択するとします。これは、この時点でブリッジ回帰勾配がゼロであることを意味します。 $w^*$

\nabla_{w} L_{b} (w^{*}) = - 2 X^{T} (y - X w^{*}) + λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*}) = \vec{0}

$\nabla_w L_b(w^*) = -2 X^T (y - Xw^*) + \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*) = \vec{0}$

したがって：

2 X^{T} (y - X w^{*}) = λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$2 X^T (y - Xw^*) = \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

これをElastic Net Gradientに代入して、でElastic Net Gradientの式を取得できます。幸いなことに、データに直接依存しなくなりました。 $w^*$

\nabla_{w} L_{e} (w^{*}) = λ_{1} sgn (w^{*}) + 2 λ_{2} w^{*} - λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$\nabla_w L_e(w^*) = \lambda_1 \text{sgn}(w^*) + 2 \lambda_2 w^* -\lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

でのエラスティックネットの勾配を見ると、次のことがわかります。ブリッジ回帰が重み収束したとすると、エラスティックネットはこれらの重みをどのように変更したいのでしょうか。 $w^*$ $w^*$

これは、勾配の反対方向に移動するにつれて勾配が最も急な上昇方向のポイントになり、損失関数が減少するため、目的の変更の局所的な方向と大きさを提供します。勾配は、エラスティックネットソリューションに直接向かない場合があります。弾性純損失関数が凸であるので、しかし、地元の方向/大きさが与えられるいくつかの弾性ネットソリューションは、ブリッジ回帰ソリューションとは異なります方法についての情報を。

ケース1：健全性チェック

（）。この場合のブリッジ回帰は、ペナルティの大きさがゼロであるため、通常の最小二乗（OLS）と同等です。理由だけで弾性ネットは、同等のリッジ回帰であるノルムはペナルティが課されます。次のプロットは、さまざまなブリッジ回帰ソリューションと、それぞれに対するElastic Net Gradientの動作を示しています。 $\lambda_b = 0, \lambda_1 = 0, \lambda_2 = 1$ $\ell_2$

左のプロット：各次元に沿った弾性ネット勾配とブリッジ回帰重み

x軸は、ブリッジ回帰によって選択された重みセットの1つのコンポーネントを表します。y軸は、で評価された、弾性ネット勾配の対応する成分を表します。ウェイトは多次元ですが、単一のディメンションに沿ったウェイト/グラデーションのみを見ていることに注意してください。 $w^*$ $w^*$

右のプロット：回帰回帰の重みを変更するエラスティックネットの変更（2d）

各ポイントは、ブリッジ回帰によって選択された2次元の重みセットを表します。各選択に対して、弾性正味勾配と反対の方向を指すベクトルがプロットされ、その大きさは勾配の大きさに比例します。つまり、プロットされたベクトルは、エラスティックネットがブリッジ回帰解をどのように変更したいかを示しています。 $w^*$ $w^*$

これらのプロットは、ブリッジ回帰（この場合はOLS）と比較して、エラスティックネット（この場合はリッジ回帰）が重みをゼロに縮小したいことを示しています。希望する収縮量は、重みの大きさとともに増加します。重みがゼロの場合、解は同じです。解釈は、損失関数を減らすために勾配と反対の方向に移動したいというものです。たとえば、ブリッジ回帰がいずれかの重みの正の値に収束したとします。エラスティックネットの勾配はこの時点で正であるため、エラスティックネットはこの重みを減らしたいと考えています。勾配降下を使用する場合、勾配にサイズが比例するステップを実行します（もちろん、ゼロでの微分不可能性のため、技術的に勾配降下を使用して弾性ネットを解決することはできません。

ケース2：マッチングブリッジとエラスティックネット

（）。質問の例と一致するように、ブリッジペナルティパラメーターを選択しました。最適なエラスティックネットペナルティが得られるように、エラスティックネットパラメータを選択しました。ここで、最適なマッチング手段は、重みの特定の分布が与えられると、ブリッジとエラスティックネットペナルティ間の予想される2乗差を最小にするエラスティックネットペナルティパラメータを見つけます。 $q = 1.4, \lambda_b = 1, \lambda_1 = 0.629, \lambda_2 = 0.355$

min_{λ_{1}, λ_{2}} E [(λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2} - λ_{b} ‖ w ‖_{q}^{q})^{2}]

$\min_{\lambda_1, \lambda_2} \enspace E \left [ ( \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2 - \lambda_b \|w\|_q^q )^2 \right ]$

$[-2, 2]$

ペナルティサーフェス

$q=1.4, \lambda_b=100$ $\lambda_1 = 0.629, \lambda_2 = 0.355$

勾配挙動

以下を見ることができます。

$w^*_j$ $j$
$|w^*_j|< 0.25$
If $|w^*_j| \approx 0.25$ , the bridge regression and elastic net solutions are the same. But, elastic net wants to move away if the weight differs even slightly.
If $0.25 < |w^*_j| < 1.31$ 、エラスティックネットは重量を増やしたいと考えています。
もし $|w^*_j| \approx 1.31$ 、ブリッジ回帰とエラスティックネットソリューションは同じです。エラスティックネットは、近くの重みからこのポイントに向かって移動したいと考えています。
もし $|w^*_j| > 1.31$ 、エラスティックネットは重量を減らしたいと考えています。

値を変更した場合、結果は定性的に類似しています $q$ および/または $\lambda_b$ 対応するベストを見つける $\lambda_1, \lambda_2$ 。ブリッジとエラスティックネットソリューションが一致する点はわずかに変化しますが、勾配の動作は他の点では類似しています。

ケース3：ブリッジとエラスティックネットの不一致

$(q=1.8, \lambda_b=1, \lambda_1=0.765, \lambda_2 = 0.225)$ . In this regime, bridge regression behaves similar to ridge regression. I found the best-matching $\lambda_1, \lambda_2$ , but then swapped them so that the elastic net behaves more like lasso ( $\ell_1$ penalty greater than $\ell_2$ penalty).

Relative to bridge regression, elastic net wants to shrink small weights toward zero and increase larger weights. There's a single set of weights in each quadrant where the bridge regression and elastic net solutions coincide, but elastic net wants to move away from this point if the weights differ even slightly.

$(q=1.2, \lambda_b=1, \lambda_1=173, \lambda_2 = 0.816)$ . In this regime, the bridge penalty is more similar to an $\ell_1$ penalty (although bridge regression may not produce sparse solutions with $q > 1$ , as mentioned in the elastic net paper). I found the best-matching $\lambda_1, \lambda_2$ , but then swapped them so that the elastic net behaves more like ridge regression ( $\ell_2$ penalty greater than $\ell_1$ penalty).

Relative to bridge regression, elastic net wants to grow small weights and shrink larger weights. There's a point in each quadrant where the bridge regression and elastic net solutions coincide, and elastic net wants to move toward these weights from neighboring points.

— user20160
ソース

（+1）すばらしい答え、努力に感謝します！最後に、「Elastic Netの方が常に望ましいですか？」長くする必要はありません。

— Firebug

ブリッジ回帰とエラスティックネットは、重みの異なる種類の事前分布を使用したMAP推定と同等です。この観点から、データ生成プロセスによりよく一致する事前選択がより適切であるように思われ、いずれの方法もすべての場合においてより適切ではない可能性があります。

— user20160

+6、とてもいい答え。あなたの上記のコメントに関して：ブリッジ回帰の前の利回りは何ですか？ガウス事前分布は、なげなわ前の隆線とラプラスに対応することを知っています。弾性ネットに対応する何かを得るために、これらの事前分布を何らかの形で組み合わせることはできますか？

— アメーバは、モニカを復活させる

@amoeba質問は私に向けられたものではなかったが、GeneralAbrialが質問で言ったように、ブリッジはおそらくSubbotin以前に対応している。弾性ネットは、予想通り、ガウスとラプラシアンの間にあります。Li、Q.、＆Lin、N.（2010）を 参照してください。ベイジアン弾性ネット。 ベイジアン分析、5（1）、151-170。およびZou、H.、＆Hastie、T.（2005）。 エラスティックネットによる正則化と変数の選択。 Journal of the Royal Statistical Society：Series B（Statistical Methodology）、67（2）、301-320。エラスティックネットとブリッジ回帰の簡単な比較。

— Firebug

@amoebaは、PCA対非線形次元削減に関する他の投稿についても同様に、この投稿に賞賛と関心を寄せてくれたことに感謝します。他の人の質問/回答を宣伝するためにあなたの担当者を使用することは素晴らしいことであり、この投稿が少なくとも人々にとって価値のあるものであるなら、私はうれしく思います。その他、親切な言葉にも感謝します。

— user20160