glmnetがZou＆Hastieのオリジナルペーパーの「素朴な」弾性ネットを使用するのはなぜですか？

L = \frac{1}{n} ‖ y - X β ‖^{2} + λ_{1} ‖ β ‖_{1} + λ_{2} ‖ β ‖_{2}^{2},

$\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,$

{\hat{β}}^{*} = (1 + λ_{2}) \hat{β} .

$\hat\beta^* = (1+\lambda_2)\hat\beta.$

しかし、その後のglmnet論文Friedman、Hastie、＆Tibshirani（2010）座標降下による一般化線形モデルの正則化パスは、この再スケーリングを使用せず、次のような簡単な脚注しかありませんでした。

Zou and Hastie（2005）は、このペナルティを単純なエラスティックネットと呼び、エラスティックネットと呼ばれる再スケーリングされたバージョンを好みました。ここでこの区別を削除します。

そこ（またはHastie et al。の教科書のいずれか）にはこれ以上の説明はありません。やや不可解です。著者は、それがあまりにもアドホックだと考えたため、再スケーリングを省いたのですか？さらなる実験でパフォーマンスが悪化したためですか？GLMケースに一般化する方法が明確ではなかったからですか？何も思いつきません。しかし、いずれにせよglmnetそれ以降、このパッケージは非常に人気を博したため、最近ではZou＆Hastieからのリスケーリングを使用している人はいないようで、ほとんどの人はおそらくこの可能性に気付いていません。

質問：結局のところ、これは良いアイデアですか、悪いアイデアですか？

でglmnetパラメータ化、再スケーリングゾウ＆Hastieはする必要があります

{\hat{β}}^{*} = (1 + λ (1 - α)) \hat{β} .

$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.$

— アメーバはモニカを復活させると言う
ソース

glmentペーパーでは、目標は正則化パス全体に適合することです。おそらく、再スケーリングはパスの単調な変換であるという考えでしょうか？

— マシュードゥルーリー

@MatthewDruryそれは本当ですが、フリードマンらの場合はまだです。再スケーリングは良いアイデアであると信じて、彼らはそれを論文、特にglmnetコードから除外しないでしょう。オプションの機能としても使用できません（2005年の論文に付属していた以前のコードは、もちろん再スケーリングをサポートしています）。

— アメーバは、モニカを復活させる

残念ながら、公共glmnetコードが...完全に読めない

— マシュードゥルーリー

この質問をZouとHastieにメールし、Hastieから次の返信をもらいました（ここで引用してもかまわないことを願っています）。

Zouらでは、追加のバイアスが心配されていたと思いますが、もちろん再スケーリングは分散を増加させます。したがって、バイアス分散トレードオフ曲線に沿って1つだけシフトします。私たちはすぐに、より良い形の再スケーリングであるリラックスした投げ縄のバージョンを含めるでしょう。

私はこれらの言葉をバニラエラスティックネットソリューションの何らかの「再スケーリング」の承認と解釈しますが、HastieはZou＆Hastie 2005で提案された特定のアプローチを支持していないようです。

以下では、いくつかの再スケーリングオプションを簡単に確認して比較します。

glmnet損失のパラメータ化を使用します解はとして示されます。

L = \frac{1}{2 n} ‖ y - β_{0} - X β ‖^{2} + λ (α ‖ β ‖_{1} + (1 - α) ‖ β ‖_{2}^{2} / 2),

$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big),$

\hat{β}

$\hat\beta$

Zou＆Hastieのアプローチは、場合、これはおそらく意味をなさないと思われる、純粋な尾根の非自明な再スケーリングをもたらすことに注意してください。一方で、投げ縄推定器がいくつかの再スケーリングから利益を得ることができるという文献のさまざまな主張にもかかわらず、場合、これは純粋な投げ縄の再スケーリングを行いません（以下を参照）。
${\hat{β}}_{rescaled} = (1 + λ (1 - α)) \hat{β} .$ $\hat\beta_\text{rescaled} = \big(1+\lambda(1-\alpha)\big)\hat\beta.$ $\alpha=0$ $\alpha=1$
純粋な投げ縄の場合、Tibshiraniは、投げ縄-OLSハイブリッドの使用、つまり、投げ縄によって選択された予測子のサブセットを使用したOLS推定量の使用を提案しました。これにより、推定器の一貫性が保たれます（ただし、収縮は取り消されるため、予想されるエラーが増加する可能性があります）。エラスティックネットにも同じアプローチを使用できます潜在的な問題は、エラスティックネットが選択できることです超える予測子とOLSは故障します（対照的に、純粋な投げ縄はを超える予測子を選択しません）。
${\hat{β}}_{elastic-OLS-hybrid} = OLS (X_{i} ∣ {\hat{β}}_{i} \neq 0)$ $\hat\beta_\text{elastic-OLS-hybrid}= \text{OLS}(X_i\mid\hat\beta_i\ne 0)$ $n$ $n$
上記のHastieの電子メールで言及されているリラックスした投げ縄は、最初の投げ縄によって選択された予測子のサブセットで別の投げ縄を実行することを提案しています。考え方は、2つの異なるペナルティを使用し、相互検証によって両方を選択することです。同じ考えをエラスティックネットに適用することもできますが、これには4つの異なる正則化パラメーターが必要と思われ、それらの調整は悪夢です。

より単純なリラックスしたエラスティックネットスキームをお勧めします。取得した後、選択した予測子のサブセットでと同じを使用してリッジ回帰を実行します：これは、（a）追加の正則化パラメーターを必要とせず、（b）任意の数の選択された予測子で機能し、（c）純粋なリッジで始まる場合は何もしません。私にはいいですね。 $\hat\beta$ $\alpha=0$ $\lambda$
${\hat{β}}_{relaxed-elastic-net} = Ridge (X_{i} ∣ {\hat{β}}_{i} \neq 0) .$ $\hat\beta_\text{relaxed-elastic-net}= \text{Ridge}(X_i\mid\hat\beta_i\ne 0).$

現在、および小さなデータセットを使用しています。ここで、はいくつかの主要なPCによって十分に予測されています。100回繰り返される11倍交差検定を使用して、上記の推定器のパフォーマンスを比較します。パフォーマンスメトリックとして、R乗のようなものを生成するように正規化されたテストエラーを使用しています：次の図では、破線はバニラエラスティックネット推定器対応し、3つのサブプロットは3つの再スケーリングアプローチに対応しています。 $n\ll p$ $n=44$ $p=3000$ $y$ $X$

R_{test}^{2} = 1 - \frac{‖ y_{test} - {\hat{β}}_{0} - X_{test} \hat{β} ‖^{2}}{‖ y_{test} - {\hat{β}}_{0} ‖^{2}} .

$R^2_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2}.$

\hat{β}

$\hat\beta$

そのため、少なくともこれらのデータでは、3つのアプローチすべてがバニラエラスティックネット推定器よりも優れており、「リラックスしたエラスティックネット」が最高のパフォーマンスを発揮します。

— アメーバはモニカを復活させると言う
ソース