リッジ回帰となげなわ回帰

私は現在この問題に取り組んでおり、目標は、Ridge＆Lasso回帰を使用して、8つの予測子でY（血圧）を予測する線形回帰モデルを開発することです。最初に、各予測子の重要性を調べます。以下は $summary()$ 私の多重線形回帰の $age100$ 再スケーリングされた $age$ 他の予測子と同様のスケールになるようにします。

Call:
lm(formula = sys ~ age100 + sex + can + crn + inf + cpr + typ + 
fra)

Residuals:
Min      1Q  Median      3Q     Max 
-80.120 -17.019  -0.648  18.158 117.420 

Coefficients:
        Estimate Std. Error t value Pr(>|t|)    
(Intercept)  145.605      9.460  15.392  < 2e-16 ***
age100        -1.292     12.510  -0.103  0.91788    
sex            5.078      4.756   1.068  0.28701    
can           -1.186      8.181  -0.145  0.88486    
crn           14.545      7.971   1.825  0.06960 .  
inf          -13.660      4.745  -2.879  0.00444 ** 
cpr          -12.218      9.491  -1.287  0.19954    
typ          -11.457      5.880  -1.948  0.05283 .  
fra          -10.958      9.006  -1.217  0.22518    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 31.77 on 191 degrees of freedom
Multiple R-squared:  0.1078,    Adjusted R-squared:  0.07046 
F-statistic: 2.886 on 8 and 191 DF,  p-value: 0.004681

単にからP値を見て $summary()$ テーブル、選んだ $age100$ そして $can$ 潜在的な「重要性の低い」予測子として。次に使用しました $glmnet()$ Yのリッジ回帰となげなわ回帰をすべてのXに適合させるには、関数が $\lambda$ 私にとっての価値。次に、2つの回帰を100でプロットしました。 $\lambda$ 尾根と65の値 $\lambda$ 投げ縄の値。最後に、係数の8つの最小二乗推定値（赤）に等しい垂直値で描かれたインデックス100および65の上にあるポイントを追加します。

上記の2つのプロットの結果、私が見つけたいくつかの違いは

Lassoが2つの変数（ $age100$ そして $can$ ）これらの2つの予測子を「重要度の低い」予測子として持つという私の以前の仮定に同意するようです。リッジプロットでは、最初とおよそ3番目の推定点がラインから外れていることに注意してください。ただし、lassプロットでは、ポイントはこれらの直線上にあります。これは、尾根からなげなわへの私の予測因子の減少の改善を示していますか？（別名、6つの予測子モデルは、8つの予測子モデルよりもデータの適合に優れていますか？）

さらにいくつか質問があります：

最小のλ値でのリッジ回帰推定は、最小二乗推定とまったく同じですか？
これらの2つのプロットを解釈する方法は？（線の赤または上または下の終点の意味は何ですか？）

multiple-regression lasso ridge-regression

— サーバナナ
ソース

あなたの2つの追加の質問に関して、プロットとパラメーターの解釈

λ

$\lambda$ あなたはこのウェブサイトの他の場所で答えを見つけるべきです。1）答えはペナルティなしの「はい」です（

λ = 0

$\lambda=0$ ）OLS推定値のみを取得します2）プロットはパラメーターの関数として推定された係数です

λ

$\lambda$ （どうやら、 'lamda'または 'lambda'が書き込まれたものですが、これは間違っていると思います。x軸が標準か何かのようです）。解釈について。1つ：Lassoの場合、x軸パラメーターが増加するにつれてゼロ以外のコンポーネントの数が増加することに注意する必要があります。

— Sextus Empiricus

2番目の追加の質問の詳細については、これらのグラフがどのように作成されたか（コード）、およびどのような種類の解釈を求めているかをよりよく伝える必要があります。

— Sextus Empiricus

これは、尾根からなげなわへの私の予測因子の減少の改善を示していますか？

いいえ、プロットは予測パフォーマンスについて何も述べていません。それを推定したい場合は、相互検証を使用できます。

別名、6つの予測子モデルは、8つの予測子モデルよりもデータの近似に優れていますか？

通常の最小二乗（OLS）と比較して、投げ縄やリッジ回帰などの正則化された方法は、トレーニングデータにより大きいまたは等しいエラーを与えます。ただし、予測パフォーマンスに関心がある場合は、同じ基になるディストリビューションによって生成される将来のデータのエラーに特に注意してください。これが相互検証の推定です。メソッド（および値 $\lambda$ ）パフォーマンスが最も良いかどうかは、問題によって異なります。

統計的推論（つまり、パラメーター推定の不確実性を考慮に入れる、または根本的な「真の」モデルを適切に識別する）に関心がある場合は、p値、信頼区間などを計算する方法が必要です。 OLSは、なげなわと尾根の回帰では機能しません。また、「重要な変数」の特定には、多くの微妙な点と注意事項があることに注意してください。

リッジ回帰の推定は最低限ですか $\lambda$ 最小二乗推定値とまったく同じ値ですか？

いつ $\lambda=0$ リッジ回帰となげなわは、どちらも通常の最小二乗（OLS）と同等です。これは、各メソッドと設定の最適化問題を記述することで確認できます $\lambda$ ゼロに：

β_{O L S} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - β \cdot x_{i})^{2}

$\beta_{OLS} = \underset{\beta}{\text{argmin}} \sum_{i=1}^n (y_i - \beta \cdot x_i)^2$

β_{l a s s o} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - β \cdot x_{i})^{2} + λ ‖ β ‖_{1}

$\beta_{lasso} = \underset{\beta}{\text{argmin}} \sum_{i=1}^n (y_i - \beta \cdot x_i)^2 + \lambda \|\beta\|_1$

β_{r i d g e} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - β \cdot x_{i})^{2} + λ ‖ β ‖_{2}^{2}

$\beta_{ridge} = \underset{\beta}{\text{argmin}} \sum_{i=1}^n (y_i - \beta \cdot x_i)^2 + \lambda \|\beta\|_2^2$

これらの2つのプロットを解釈する方法は？

が変更されると、各軌跡は個々の係数の値を示します。x軸のラベルが間違っているようです（は実際には左から右に減少しています）。 $\lambda$ $\lambda$

これらのプロットで気付くいくつかの一般的な事項（ラッソとリッジ回帰についてよく知られている事実）：両方の方法は、が増加する（x軸で右から左に移動する）につれて、係数をゼロに向かってより強く縮小します。Lassoはスパースソリューションを生成します-が増加するにつれて、ますます多くの係数が正確にゼロになり、他の係数は比較的大きくなります（これは、Lassoが変数選択に役立つ理由です）。リッジ回帰はこのように動作しません-が増加すると、係数の全体的な大きさは減少しますが、個々の係数は正確にゼロにはなりません。 $\lambda$ $\lambda$ $\lambda$

線上または上または下の赤色の終点の意味

あなたは赤い点がOLS係数を表すと言いました。投げ縄と尾根の回帰は係数をゼロに向かって縮小するため、場合、大きさはOLSよりも小さくなり。プロットは、すべてのメソッドが同等であるで赤い点と交差します。 $\lambda > 0$ $\lambda=0$

— user20160
ソース