リッジ、なげなわ、エラスティックネット

Ridge、LASSO、Elasticnetの正則化方法はどのように比較されますか？それぞれの長所と短所は何ですか？優れた技術論文や講義ノートも歓迎します。

で統計的学習の要素ブック、Hastieら。これらの収縮手法の非常に洞察に満ちた徹底的な比較を提供します。この本はオンラインで入手できます（pdf）。比較は、セクション3.4.3、ページ69で行われます。

LassoとRidgeの主な違いは、使用するペナルティの期間です。Ridgeは、係数ベクトルのサイズを制限するペナルティ項を使用します。ラッソはペナルティを使用します。これは係数間にスパース性を課し、それにより近似モデルをより解釈可能にします。Elasticnetは、これら2つの手法の妥協案として導入され、と基準が混在するペナルティがあります。$L_2$$L_1$$L_1$$L_2$

要約すると、Lasso、Ridge、Elastic-netの顕著な違いは次のとおりです。

1. ラッソはまばらな選択を行いますが、リッジはしません。
2. あなたが持っている場合には高相関変数を、リッジ回帰は、互いに向かって2つの係数を縮小します。なげなわはやや無関心であり、通常は他のものよりも優先されます。コンテキストによっては、どの変数が選択されるかわかりません。Elastic-netは、縮小とスパース選択を同時に行う2つの間の妥協案です。
3. リッジ推定器は、データの乗法スケーリングに無関心です。つまり、X変数とY変数の両方に定数を掛けると、与えられたパラメーターについて、近似の係数は変化しません。ただし、なげなわの場合、近似はスケーリングに依存しません。実際、同じ結果を得るには、パラメーターを乗数で拡大する必要があります。エラスティックネットではより複雑です。$\lambda$$\lambda$
4. Ridge は、小さなペナルティにペナルティを科すよりも、最大の$\beta$にペナルティを科します（ペナルティ項で二乗されるため）。なげなわはそれらをより均一に罰します。これは重要な場合とそうでない場合があります。強力な予測子を使用した予測問題では、ラッソと比較して、予測子の有効性はリッジによって縮小されます。

統計学習の本の紹介（Tibshirani et。al、2013）をご覧になることを強くお勧めします。

その理由は、統計学習の本の要素が数理科学の高度な訓練を受けた個人を対象としているためです。ISLの序文では、著者は次のように書いています。

統計学習の概要は、これらのトピックをより広く技術的に扱いにくいものにする必要性が認識されていることから生じました。[...]

統計学習入門は、統計学または関連する定量的分野の上級学部生または修士課程の学生、または統計分析ツールを使用してデータを分析したい他の分野の個人に適しています。

上記の答えは非常に明確で有益です。統計の観点から1つのマイナーポイントを追加したいと思います。例として、リッジ回帰を取り上げます。多くの相関する特徴がある場合の多重共線性の問題を解決するための順序最小二乗回帰の拡張です。線形回帰が

Y=Xb+e

多重線形回帰の正規方程式解

b=inv(X.T*X)*X.T*Y

リッジ回帰の正規方程式解は

b=inv(X.T*X+k*I)*X.T*Y. 

これはbのバイアス推定器であり、リッジ回帰の平均二乗誤差をOLS回帰の平均二乗誤差よりも小さくするペナルティ項kを常に見つけることができます。

LASSOおよびElastic-Netの場合、このような分析ソリューションは見つかりませんでした。