「スペクトル分解」によるリッジ回帰を使用した収縮係数の証明

リッジ回帰により、係数が幾何学的にゼロに縮小する方法を理解しました。さらに、特別な「正規直交ケース」でそれを証明する方法を知っていますが、「スペクトル分解」を介して一般的なケースでそれがどのように機能するか混乱しています。

— ジーザ
ソース

あなたは混乱していると述べましたが、あなたの質問は何ですか？

— whuber

質問は、リッジ回帰がスペクトル分解を使用して係数推定値をゼロに縮小することの実証を求めているようです。スペクトル分解は、特異値分解（SVD）の簡単な結果として理解できます。したがって、この投稿はSVDで始まります。簡単な用語で説明し、重要なアプリケーションで説明します。次に、要求された（代数的）デモンストレーションを提供します。（もちろん、代数は幾何学的なデモンストレーションと同一であり、単に異なる言語で表現されています。）

この回答の元のソースは、回帰コースのノートに記載されています。このバージョンでは、いくつかの小さなエラーが修正されています。

SVDとは

任意行列と、、書き込むことができます場所 $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

$U$ は行列です。 $n\times p$
- の列の長さはです。 $U$ $1$
- の列は相互に直交しています。 $U$
- 彼らは呼ばれている主成分の。 $X$
$V$ は行列です。 $p \times p$
- の列の長さはです。 $V$ $1$
- の列は相互に直交しています。 $V$
- この作るは回転の。 $V$ $\mathbb{R}^p$
$D$ は対角行列です。 $p \times p$
- 対角要素は負ではありません。これらはの特異値です $d_{11}, d_{22}, \ldots, d_{pp}$ 。 $X$
- 必要に応じて、大きいものから小さいものへと注文できます。

基準（1）と（2）は、と両方が正規直交行列であることを表明しています。それらは条件によってきちんと要約することができます $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

結果として（は回転を表す）、も。これは、以下のリッジ回帰の導出で使用されます。 $V$ $VV^\prime = 1_p$

それは私たちのために

数式を簡素化できます。 これは代数的および概念的に機能します。下記は用例です。

正規方程式

回帰考えるいつものように、ここで、独立しており、同様にゼロ期待と有限の分散有する法則によれば、分散。正規方程式を介して、最小二乗解は、 SVDを適用し、結果として得られる代数的混乱を単純化する（これは簡単です）と、素晴らしい洞察が得られます。 $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

これとの唯一の違いは、の要素の逆数が使用されることです！換言すれば、「式」「反転」することによって解決される：この疑似反転アンドゥを回転と単にそれらを転置することによって）及びアンドゥ（で表される乗算）別々に各主に方向。 $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

将来の参照のために、推定「回転」という通知応答「回転」の線形組合せである。係数は、（正の）対角要素の逆数であり、等しくなります。 $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

係数推定値の共分散

推定値の共分散であることを想起されたい SVDを使用し、これはなる言い換えれば、共分散は直交変数の共分散のように機能し、それぞれが分散

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ 、

回転されています。

R^{k}

$\mathbb{R}^k$

ハットマトリックス

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

固有分析（スペクトル分解）

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

SVDは、共線性の問題を診断および解決できます。

回帰変数の近似

$UDV^\prime$ $U$ $y$

リッジ回帰

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

$V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— ウーバー
ソース

@Glen_bそれは良い点です：私が検討していた分数について明示する必要がありました！それを修正します。

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal良い提案をありがとう。これで、回帰モデルが導入されている「正規方程式」セクションに説明を含めました。

— whuber

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$