エラスティックネット回帰の交差検証：テストセットでの二乗誤差対相関

弾性ネット回帰を考慮glmnet損失関数の様パラメータ化n \ ll p （それぞれ44と3000）のデータセットがあり、繰り返し11分割交差検証を使用して、最適な正則化パラメーター\ alphaおよび\ lambdaを選択しています。通常、私はテストセットのパフォーマンスメトリックとして二乗誤差を使用します。たとえば、このR二乗のようなメトリック：L_ \ text {test} = 1- \ frac {\ lVert y_ \ text {test}-\ hat \ beta_0- X_ \ text {test} \ hat \ beta \ rVert ^ 2} {\ lVert y_ \ text {test}-\ hat \ beta_0 \ rVert ^ 2}、

$$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big).$$ $n\ll p$$\alpha$$\lambda$ $$L_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2},$$ しかし、今回は相関メトリックも使用しました（正則化されていないOLS回帰の場合、二乗誤差損失を最小化することは相関を最大化することと同等です）： $$L_\text{test}=\operatorname{corr}(y_\text{test}, X_\text{test}\hat\beta).$$

これらの2つのパフォーマンスメトリックが完全に同等ではないことは明らかですが、奇妙なことに、それらはかなり強く反対します。

特に、小さなアルファ、たとえば$\alpha=.2$（緑の線）で何が発生するかに注意してください。テストセットの$R^2$が最大値と比較して大幅に低下すると、最大のテストセット相関が達成されます。一般に、与えられた$\alpha$、相関は二乗誤差よりも大きい\ lambdaで最大化されるよう$\lambda$です。

なぜそれが起こり、それに対処するのですか？どの基準を優先すべきですか？誰かがこの影響に遭遇しましたか？

ここで何が起こっているのか理解できたと思います。

相関の値は長さに依存しないことに注意してください。したがって、テストのR二乗が低下する一方でテストの相関関係が増加し続ける場合は、が最適ではなく、スカラー係数によるスケールアップまたはスケールダウンが役立つ可能性があります。$\hat\beta$$\lVert\hat\beta\rVert$$\hat\beta$

これを実現した後、エラスティックネットだけでなく、なげなわでさえも係数を「過度に縮小」するという複数の主張が文献にあったことを思い出しました。投げ縄の場合、このバイアスを修正することを目的とした「リラックスした投げ縄」の手順があります。「二重投げ縄」または投げ縄を2回実行することの利点を参照してください。。エラスティックネットの場合、元のZou＆Hastie 2005の論文は実際に一定の係数で拡大することを提唱しました。 なぜglmnetはZou＆Hastieの元の論文の「単純な」エラスティックネットを使用するのですか？。このようなスケーリングは相関の値を変更しませんが、R-2乗に影響を与えます。$\hat\beta$

Zou＆Hastieヒューリスティックスケーリングを適用すると、次の結果が得られます。

$$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta,$$

ここで、実線は私の質問の図と同じですが、左側のサブプロットの破線は再スケーリングされたベータを使用しています。これで、両方のメトリックがとほぼ同じ値によって最大化されます。$\alpha$$\lambda$

マジック！