リッジ回帰は、どのような条件下で通常の最小二乗回帰よりも改善できますか？

リッジ回帰は、線形モデルのパラメーター推定します byここでは正則化パラメーターです。多くの相関予測子がある場合、OLS回帰（）よりもパフォーマンスがよく向上することがよく知られています。 $\boldsymbol \beta$ $\mathbf y = \mathbf X \boldsymbol \beta$

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

リッジ回帰の存在定理によれば、パラメーターが常に存在するため、平均二乗誤差はOLSの平均二乗誤差よりも厳密に小さくなります。推定。つまり、最適値は常にゼロではありません。これは、1970年にHoerlとKennardで最初に証明されたことが明らかにされており、オンラインで見つけた多くの講義ノートで繰り返されています（こことここ）。私の質問は、この定理の仮定に関するものです。 $\lambda^* > 0$ $\hat{\boldsymbol \beta}_\lambda$ $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ $\lambda$

共分散行列に関する仮定はあります $\mathbf X^\top \mathbf X$ か？
次元についての仮定はあります $\mathbf X$ か？

特に、予測子が直交する場合（つまり、 $\mathbf X^\top \mathbf X$ が対角線である場合）、またはある場合でも、定理は依然として真 $\mathbf X^\top \mathbf X=\mathbf I$ ですか？また、予測子が1つまたは2つ（たとえば、1つの予測子と1つの切片）しかない場合でも、本当ですか？

定理がそのような仮定をせず、これらの場合でも真のままである場合、なぜリッジ回帰は通常相関予測子の場合にのみ推奨され、単純な（つまり多重ではない）回帰には決して（？）推奨されないのですか？

これは、収縮に関する統一された見解に関する私の質問に関連しています。混合モデルでのスタインのパラドックス、リッジ回帰、およびランダム効果の間の関係（ある場合）とは何ですか？、しかし、これまでのところこの点を明確にする答えはありません。

regression ridge-regression shrinkage

— アメーバはモニカを復活させると言う
ソース

最後の質問を除くすべてが、特に序文の最初の文と結論の最初の文で、Hoerl＆Kennardの論文で直接扱われているようです。最後の質問は、定数ベクトルと任意の単一の予測子の間の共分散が常にゼロであることに注意して答えることができます。これにより、（標準的な方法で）を行列に減らすことができます。

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

ありがとう、@ whuber。Hoerl＆Kennardの論文は私の質問（少なくとも技術的な質問）に答えると信じています。証拠をたどり、仮定を確認できるはずです（まだやっていません）。しかし、私はあなたが言及している文章に完全には納得していません。イントロの最初の文は私の質問にどのように関係していますか？結論の最初の文は、が均一なスペクトル（たとえば、等しい）の場合、定理が適用されないことを示唆しています。しかし、証拠の前にこの仮定が明示的に述べられていないので、100％確信はありません。

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— アメーバは2014

ルック質問の何種類によって求められることができ、高担当者ユーザー（通常は唯一の答えそれらを（）と同様に、ここで送ってくれたあなたの他のリンクの質問にはstats.stackexchange.com/questions/122062/...！

— javadba

1と2の両方に対する答えはノーですが、存在定理の解釈には注意が必要です。

リッジ推定量の分散

してみましょうペナルティ下の尾根の見積もりも、とletモデルの真のパラメータである。してみましょうの固有値も。 Hoerl＆Kennardの式4.2-4.5から、リスク（予想される誤差のノルムに関して）は $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$ 私が知る限り、彼らは、はの内積の分散の解釈があることにてください。一方、はバイアスの内積です。

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$

仮に、次いでましょうは、リスクw / r / tの導関数です。以降、我々が存在すると結論いくつかのように $X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$ 。

著者は、直交性がでのリスクの観点から期待できる最高のものであり、条件数が増加すると、アプローチ $k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$ 。

ここにパラドックスがあるようですでが一定の場合、正規変数のシーケンスの平均を推定しているだけで、バニラの不偏推定値を知っています。この場合は許容されます。これは、上記の推論が、固定のに対して最小化値が存在することを単に提供することに注意することによって解決されます。しかし、任意の、作成することでリスクを爆発させることができます $p=1$ $X$ $(\beta, \sigma^2)$ $k$ $\beta^T \beta$ $k$ $\beta^T \beta$ 大きくこの引数だけではリッジ推定の許容性を示しません。

相関回帰の場合にのみリッジ回帰が通常推奨されるのはなぜですか？

H＆Kのリスク導出は、が小さいと考え、設計がほぼ特異であれば、推定のリスクを大幅に削減できることを示しています。OLS推定値は安全なデフォルトであり、不変性と不偏性の特性は魅力的であるため、リッジ回帰は普遍的に使用されていないと思います。失敗すると、正直に失敗します。共分散行列が爆発します。おそらく、哲学的/推論的な点もあります。設計がほぼ特異であり、観測データがある場合、単位変更に対して変更を与えるとしてのの解釈 $\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$ は疑わしいです-大きな共分散行列はその症状。

しかし、目標が予測のみである場合、推論の懸念はもはや成り立たず、何らかの収縮推定量を使用することに対する強い議論があります。

— アンドリュー・M
ソース

わあ、ありがとう！あなたの「コメント」セクションの私の理解を確認しましょう：与えられたについて、最適なはゼロではありませんが、その値は異なるベータで異なり、固定はすべてのベータでを超えることはできません。許容性に必要なもの。正しい？それとは別に、私の一般的な質問についてコメントしてください：[定理がそのような仮定をしていない場合]なぜリッジ回帰は通常相関予測因子にのみ推奨され、単純な（複数ではなく）回帰には決して推奨されないのですか？それは、肯定的な効果が小さすぎてわずらわしいことが経験的に知られているからでしょうか？

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

— アメーバは、モニカーを復活させる14

H＆Kは、常にがフルランクのものであると想定しています。＃1の答えが「いいえ」であると述べることにより、そうでない場合でも結果が真実であり続けると主張していますか？

X^{'} X

$X^\prime X$

— whuber

@whuber：リスクのそれらの導出の中心は、そのリッジ推定値

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$ であり、ここではOLS推定であり、。がランク不足の場合、これは明らかに成り立ちません。しかし、OLS推定値は存在しないため、おそらく有限のリスク（十分に大きくすると、が得られ、リスクが得られる）存在しない推定量よりも？リスクの派生がまだ当てはまる限り、私にはわかりません。別の証明が必要になります。

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

— アンドリューM 14年

λ

$\lambda$