線形回帰の二乗和誤差の分布？

サンプル分散の分布これは、は行列形式（A：対称）で表すことができ、（Q：正規直交、D：対角行列）でも表すことができます。

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

何約 $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ 仮定が与えられると、 $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$ ？

I図

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

しかし、それを証明したり、見せたりする方法はわかりません。

として正確に配布されてい $\chi^2_{(n-2)}$ ますか？

— KHキム
ソース

これは宿題ですか？もしそうなら、宿題タグを使用してください。

— MånsT

いいえ、ちがいます。結局のところ、それは真のbcozだと思います。二乗和は、定数Xが与えられたYの線形結合の二乗です。しかし、そうですか？このような簡単な証明がいただければ幸いです！math.stackexchange.com/questions/47009/...

— KHキム・

質問とコメントの両方であなたが与える説明は少し混乱しています。標本分散に対して行列何である必要があるかを書きましたか？一般化する方法を理解するのに役立ちますか？

A

$A$

— 枢機卿

Dを修正しました。重要な点は、Dの対角要素が（1,1,1、...、1,0,0）のようになることです。それを証明する方法はありますか？またはとにかくであるsse /、

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

「ハットマトリックス」とそのいくつかの有用なプロパティを使用して、変数のより一般的なケースでこれを証明できます。これらの結果は、スペクトル分解を使用しているため、通常、非行列の項で述べるのははるかに困難です。 $p$

現在、最小二乗のマトリックスバージョンでは、ハットマトリックスはここで、は行と列（列）をます。便宜上、完全な列ランクを想定します。それ以外の場合は、をの列ランクで置き換えることができます。フィットされた値はまたは行列表記として書き込むことができます。これを使用すると、平方和を次のように書くことができます。 $H=X(X^TX)^{-1}X^T$ $X$ $n$ $p+1$ $\beta_0$ $p+1$ $X$ $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ $\hat{Y}=HY$

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} (I_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

ここで、は次の単位行列です。ように、がべき等行列であることから、最後のステップが続きます。 $I_n$ $n$ $H$

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

べき等行列のきちんとした特性は、それらの固有値がすべて0または1に等しくなければならないということです。まかせ示すA正規化固有ベクトルの固有値と以下のように、我々は、これを証明することができます。 $e$ $H$ $l$

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 or 1

$\implies le=l^2e\implies l=0\text{ or }1$

（は満たさなければならないため、ゼロにすることはできません）がべき等であるため、もそうです。 $e$ $e^Te=1$ $H$ $I_n-H$

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

また、固有値の合計が行列のトレースに等しく、

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

したがって持っている必要がありの固有値に等しい及びに等しい固有値。 $I-H$ $n-p-1$ $1$ $p+1$ $0$

のスペクトル分解を使用できるようになりました。ここで、およびは直交します（は対称であるため）。有用な別のプロパティは、です。これは、マトリックスを絞り込むのに役立ちます $I-H=ADA^T$ $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ $A$ $I-H$ $HX=X$ $A$

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

そして私たちは得る：

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

ここで、モデルの下にあり、標準の正規理論を使用しては、コンポーネントが独立していることを示しています。有用な結果を使用して、に対してられます。二乗誤差の合計に対する自由度がのカイ二乗分布がすぐに続きます。 $Y\sim N(X\beta,\sigma^2I)$ $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ $A^TY$ $(A^TY)_i\sim N(0,\sigma^2)$ $i=1,\dots,n-p-1$ $n-p-1$

— 確率論的
ソース

わぁ、ありがとうございます。本当に素晴らしいです！マトリックスフォームは本当に報われます！要約すると、SSE /およびはべき等です。べき等行列には0または1の固有値があります。したがって、固有値の合計は固有値1の数になります。また、ので、および N-Pとなります+1。行列の固有値の合計は、行列のトレースの合計です！そしてのように表すことができる。したがって、最初のは、Dはnp-1対角1のみになります。

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$

I - H

$I-H$

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$

t r (I_{n} - H)

$tr(I_n-H)$

I - H

$I-H$

A D A^{T}

$ADA^T$

Y^{T} (I - H) Y

$Y^T(I-H)Y$

Y^{T} A D A^{T} Y

$Y^TADA^TY$

— KHキム

正解です!! 別のアプローチを示すために、代わりに、変換された多変量正規変数を定義することを選択できますが、それでも同じ分布に従いますアフィンプロパティを使用する場合。次に、最後のフラクション。

v := A^{'} Y

$v := A'Y$

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$

— Daeyoung Lim 2016