投げ縄とリッジを使用する必要があるのはいつですか？

多数のパラメーターを推定したいのですが、他のパラメーターと比較してほとんど効果がないはずだと思うので、いくつかのパラメーターにペナルティを科したいとします。使用するペナルティスキームを決定するにはどうすればよいですか？リッジ回帰はいつ適切ですか？投げ縄を使用する必要があるのはいつですか？

リッジ回帰では係数をゼロにできないことに注意してください。したがって、最終的にモデルのすべての係数を含めるか、まったく含めないかのいずれかです。対照的に、LASSOはパラメーターの縮小と変数の選択の両方を自動的に行います。共変量の一部が高度に相関している場合、LASSOではなくElastic Net [3]を確認することをお勧めします。

個人的には、非負のガロット（NNG）[1]を使用することをお勧めします。これは、推定と変数選択[2]の点で一貫しているためです。LASSOやリッジ回帰とは異なり、NNGは初期推定値を必要としますが、これはその後原点に向かって縮小されます。元の論文では、Breimanは初期推定に最小二乗解を推奨しています（ただし、リッジ回帰解から検索を開始し、GCVなどを使用してペナルティパラメータを選択することもできます）。

利用可能なソフトウェアの観点から、元のNNGをMATLABに実装しました（Breimanの元のFORTRANコードに基づいて）。以下からダウンロードできます。

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

ところで、ベイジアンソリューションを好む場合は、[4,5]を参照してください。

参照：

[1] Breiman、L。非負のGarrote Technometricsを使用したサブセットのより良い回帰、1995、37、373-384

[2] Yuan、M.＆Lin、Y.非負のガロット推定量について王立統計学会誌（シリーズB）、2007、69、143-161

[3] Zou、H.＆Hastie、T.エラスティックネットによる正則化と変数選択王立統計学会誌（シリーズB）、2005年、67、301-320

[4] Park、T.＆Casella、G. The Bayesian Lasso Journal of the American Statistical Association、2008、103、681-686

[5] Kyung、M .; ギル、J。Ghosh、M.＆Casella、G.罰則付き回帰、標準誤差、およびベイジアンラッソスベイジアン分析、2010年、5、369-412

RidgeまたはLassoは、正規化された線形回帰の形式です。正則化は、最大事後推定法において事前と解釈することもできます。この解釈の下で、リッジと投げ縄は、入力データと出力データを関連付けるために推論する線形変換のクラスについて異なる仮定を行います。リッジでは、線形変換の係数は正規分布であり、投げ縄ではラプラス分布です。投げ縄では、これにより係数がゼロになりやすくなり、したがって、出力に寄与しない入力変数の一部を簡単に削除できます。

いくつかの実用的な考慮事項もあります。リッジは、実装が少し簡単で、計算も高速です。これは、所有するデータのタイプによっては問題になる場合があります。

両方を実装している場合は、データのサブセットを使用して尾根となげなわを見つけ、それらが左側のデータでどの程度うまく機能しているかを比較します。エラーから、どちらを使用するかがわかります。

一般的に、多くの中小サイズのエフェクトがある場合、リッジを使用する必要があります。効果が中/大の変数が数個しかない場合は、なげなわを使用します。 ヘイスティ、ティブシラーニ、フリードマン