LOOCV式の証明

統計学習の入門ジェームスら。、リーブワンアウトクロスバリデーション（LOOCV）推定値はによって定義される

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {MSE}_{i}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$ ここ

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$ 。

証明がなければ、方程式（5.2）には、最小二乗回帰または多項式回帰（これが1つの変数のみの回帰に当てはまるかどうかは不明）、 "ここでされている、元の最小二乗から番目のフィット値（適合しないこの手段が、方法によって何全く考え、それが使用を意味し、すべてのデータセット内のポイントを）および？により定義されるてこ」で

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{y_{i} - {\hat{y}}_{i}}{1 - h_{i}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{i} = \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

これをどのように証明しますか？

私の試み：一つは、その注目して開始することができが、これとは別に（私は思い出す場合、ための、式唯一であると単純な線形回帰の場合...）、ここから先に進む方法がわかりません。

{\hat{y}}_{i} = β_{0} + \sum_{i = 1}^{k} β_{k} X_{k} + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

— クラリネット奏者
ソース

あなたの方程式が複数のことに

を使用しているように見えるか、非常に混乱しています。いずれにせよ、追加の明快さは良いでしょう。

i

$i$

— Glen_b -Reinstate Monica

@Glen_b昨日LOOCVについて学んだので、いくつかのことを正しく理解できないかもしれません。私が理解からは、あなたがデータポイントのセットを持っている、と言う

。LOOCVを使用すると、固定（正の整数）

ごとに検証セット

とテストセット

があり、それぞれに対して近似モデルを生成します。

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

ます。たとえば、3つのデータポイントを使用した単純な線形回帰を使用してモデルを近似するとします。

k

$k$

。私たちは（継続する）

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— クラリネット奏者

@Glen_b

および

。でポイントを使用して

、我々は単純な線形回帰を使用して、我々はモデルを得ることを見つけることができ

。その後、我々は計算

使用して

検証セットとして取得し、

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$ （単に所与の点を使用）、

、与え

。さて、上付き文字を使用することは最良のアイデアではなかったかもしれません。元の投稿でこれを変更します。

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— クラリネット奏者

ここにいくつかの講義ノートは、導出にあるpages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...

— ザビエル・ブーレSicotte

回帰変数が多項式であるかどうかにかかわらず、多重線形回帰の結果を示します。実際、（5.2）（そこにあるようにLOOCVエラーを得ることができるというだけでなく、各LOOCV残差が完全回帰からの対応するレバレッジ加重残差と同一であることを示すため、あなたが尋ねたものよりも少し多く表示されます平均の各用語が同じでなくても、平均が一致する他の方法があります）。 $X_t$

少し適応した表記法を使用する自由を取りましょう。

私たちは、最初にすることを示してすべてのデータと使用して推定値である外に出るときの推定値を、観測。ましょそのような行ベクトルとして定義され。残差です。

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{u}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (A) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

この証明では、次の行列代数結果を使用します。

ましょう、正則行列でベクトルと $A$ $b$ $\lambda$ スカラーを。もしそして

\begin{aligned} λ & \neq - \frac{1}{b^{'} A^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (A + λ b b^{'})^{- 1} & = A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

（B）の証明は、

\begin{aligned} {A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1}} (A + λ b b^{'}) = I . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

次の結果は、証明に役立ちます（A）

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Proof of (C): By (B) we have, using $\sum_{t=1}^TX_t'X_t=X'X$ ,

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$ So we find

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

The proof of (A) now follows from (C): As

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$ we have

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$ or

\begin{aligned} {I_{k} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{u}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$ So,

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{u}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{u}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$ where the last equality follows from (C).

Now, note $h_t=X_t(X'X)^{-1}X_t'$ . Multiply through in (A) by $X_t$ , add $y_t$ on both sides and rearrange to get, with $\hat u_{(t)}$ the residuals resulting from using $\hat\beta_{(t)}$ ( $y_t-X_t\hat\beta_{(t)}$ ),

{\hat{u}}_{(t)} = {\hat{u}}_{t} + (\frac{{\hat{u}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$ or

{\hat{u}}_{(t)} = \frac{{\hat{u}}_{t} (1 - h_{t}) + {\hat{u}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{u}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— Christoph Hanck
ソース

The definition for

X_{(t)}

$X_{(t)}$ is missing in your answer. I assume this is a matrix

X

$X$ with row

X_{t}

$X_t$ removed.

— mpiktas

Also mentioning the fact that

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$ would be helpful too.

— mpiktas

@mpiktas, yes, thanks for the pointers. I edited to take the first comment into account. Where exactly would the second help? Or just leave it in your comment?

— Christoph Hanck

When you start the proof of (C) you write

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$ . That is a nice trick, but I doubt that casual reader is aware of it.

— mpiktas

Two years later... I appreciate this answer even more, now that I've gone through a graduate-level linear models sequence. I'm re-learning this material with this new perspective. Do you have any suggested references (textbooks?) which go through derivations like what you have in this answer in detail?

— Clarinetist