回帰分析のなげなわとは何ですか？

私は投げ縄の非技術的な定義と、それが何のために使用されているかを探しています。

LASSO（最小絶対収縮および選択演算子）は、回帰係数の絶対サイズにペナルティを課す回帰方法です。

ペナルティを課す（または推定値の絶対値の合計を同等に制約する）ことにより、パラメータ推定値の一部が正確にゼロになる場合があります。適用されるペナルティが大きいほど、推定値はゼロに向かって縮小されます。

これは、いくつかの自動機能/変数選択が必要な場合、または標準回帰に通常「大きすぎる」回帰係数が含まれる高度に相関した予測子を処理する場合に便利です。

https://web.stanford.edu/~hastie/ElemStatLearn/（無料ダウンロード）には、LASSOと関連するメソッドの説明があります。

LASSO回帰は、変数選択と調整の両方が同時に行われる回帰分析の一種です。この方法は、回帰係数の値に影響するペナルティを使用します。ペナルティが増加すると、より多くの係数がゼロになり、逆も同様です。L1正規化手法を使用します。この手法では、調整パラメーターが収縮量として使用されます。チューニングパラメーターが増加するとバイアスが増加し、減少すると分散が増加します。定数である場合、係数はゼロではなく、無限大になる傾向があるため、すべての係数はゼロになります。

「通常」回帰（OLS）の目標は、係数を推定するために残差平方和（RSS）を最小化することです。

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

LASSO回帰の場合、わずかに異なるアプローチで係数を推定します。

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

新しい部分は赤で強調表示されます。これは、によってペナルティが課される絶対係数値の合計であるため、は（L1）の再調整の量を制御します。$\lambda$$\lambda$

場合、単純線形回帰の係数と同じ係数になることに注意してください。この式は、LASSO場合、RSSとL1のレギュレーション（新しい赤い部分）を最小限にする必要があることを示しています。場合の係数のみRSSの減少の同じ量にこのリード場合に増加させることができるように、赤色L1ペナルティは、係数の大きさを制約します。より一般的には、係数が増加する唯一の方法は、残差平方和（RSS）が同等に減少する場合です。したがって、高く設定するほど$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$より多くのペナルティが係数に適用され、係数が小さくなると、ゼロになる場合があります。これは、LASSOが機能選択を行うことでpar約的なモデルになり、モデルが過剰適合するのを防ぐことができることを意味します。ただし、多くの機能があり、モデルの係数を解釈するのではなくデータを予測することが目標である場合は、LASSOを使用できます。