リッジ回帰となげなわ回帰を使用する場合。線形回帰モデルではなくこれらの手法を使用して達成できること

RidgeやLassoの回帰のような正則化された回帰手法についてもっと学ぶのを楽しみにしています。線形回帰モデルと比較して、これらの手法を使用して何が達成できるか知りたいのですが。また、どのような状況でこれらの手法を採用する必要があります。そして、これら2つの手法の違いは何ですか。これらの手法の背後にある概念と数学を理解したいと思っています。あなたの貴重な知識を共有してください。

つまり、リッジ回帰と投げ縄は、推論ではなく予測のために最適化された回帰手法です。

正規回帰では、不偏回帰係数が得られます（「データセットで観察される」最尤推定値）。

リッジおよびラッソ回帰により、係数を正則化（「縮小」）できます。これは、推定された係数が0に向かってプッシュされることを意味し、新しいデータセット（「予測用に最適化」）でより効果的に機能します。これにより、複雑なモデルを使用し、同時に過剰適合を回避できます。

尾根となげなわの両方について、積極的な正則化の実行方法を定義する、いわゆる「メタパラメータ」を設定する必要があります。メタパラメータは通常、相互検証によって選択されます。リッジ回帰の場合、メタパラメータは「アルファ」または「L2」と呼ばれることがよくあります。それは単に正則化強度を定義します。LASSOの場合、メタパラメーターは「lambda」または「L1」と呼ばれることがよくあります。Ridgeとは対照的に、LASSOの正規化は実際には重要度の低い予測子を0に設定し、モデルから除外できる予測子の選択に役立ちます。2つの方法は「Elastic Net」正則化で組み合わされます。ここで、両方のパラメータを設定できます。「L2」は正則化強度を定義し、「L1」は結果の望ましいスパース性を定義します。

ここにトピックへの素晴らしいイントロがあります：http : //scikit-learn.org/stable/modules/linear_model.html

線形モデルは、モデルを作成するために指定されたデータに最適な場合がありますが、目に見えないデータの予測に最適なモデルであるとは限りません

基礎となるデータが比較的単純なモデルに従っていて、使用するモデルがタスクに対して複雑すぎる場合、私たちが本質的に行っていることは、データのあらゆる可能な変更または分散に過度の重みをかけていることです。私たちのモデルは、データのわずかな変化でさえ、過剰に反応し、過剰に補償しています。統計学と機械学習の分野の人々は、この現象を過剰適合と呼んでいます。データセットに他の特徴と線形相関が高い特徴がある場合、線形モデルはオーバーフィットする可能性が高いことがわかります。

リッジ回帰。係数が大きすぎるモデルにペナルティを追加することにより、過剰適合を回避します。