RSSがカイ二乗倍npで配信されるのはなぜですか？

OLSモデルでは、RSS（残差平方和）が（はモデル内のパラメーター数、は観測数）に分布している理由を理解したいと思います。

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

このような基本的な質問をしたことをおaびしますが、オンライン（またはアプリケーション指向の教科書）で答えを見つけることができないようです。

regression distributions least-squares

— タル・ガリリ
ソース

答えはアサーションが完全に正しくないことを示していることに注意してください。RSSの分布は（はない）倍の分布です。ここではエラーの真の分散です。

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

回答:

次の線形モデルを考えます： ${y} = X \beta + \epsilon$ 。

残差のベクトルは、

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

ここで、 $Q = I - X (X'X)^{-1} X'$ です。

観察その $\textrm{tr}(Q) = n - p$ （トレースは、巡回置換の下で不変である）およびその $Q'=Q=Q^2$ 。したがって、の固有値はおよび（詳細は以下）。したがって、ユニタリ行列が存在します（ユニタリ行列が正常である場合にのみ、行列はユニタリ行列によって対角化可能です）。 $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

ここで、ます。 $K = V' \hat{\epsilon}$

以来、、我々は、したがって、。かくして $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

。 $K^{\star} = (K_1, \ldots, K_{n-p})'$

さらに、はユニタリ行列であるため、 $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

かくして

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

最後に、この結果が意味することを観察します

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

以来、、最小多項式の多項式除算。だから、の固有値間にあると。のでまた、それらの多数を乗じた固有値の和であり、我々は必ずしも有する多重度を持つ固有値であり、、ゼロが多重度を持つ固有値である。 $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— ocram
ソース

（+1）良い答え。は実対称であるため、ユニタリではなく直交に注意を制限できます。また、何ですか？定義されていません。引数をわずかに再調整することで、慣れていない人に何らかの混乱を引き起こす場合に、縮退した法線の使用を避けることもできます。

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— 枢機

@枢機卿。いい視点ね。SCR（フランス語で 'Somme desCarrésRésiduels'）はRSSでした。

— ocram

Ocramの詳細な回答ありがとうございます！いくつかのステップでは、もっと詳しく見る必要がありますが、今考えるべきアウトラインがあります-ありがとう！

— タルガリリ

@Glen_b：ああ、数日前にSCRをSRRに変更するために編集をしました。私のコメントでSCRが言及されていることを覚えていませんでした。混乱させて申し訳ありません。

— ocram

@Glen_b：RSSを意味するはずだった：-S再び編集された。Thx

— ocram

私見、行列表記事態を複雑にします。純粋なベクトル空間言語はよりクリーンです。モデルを書くことができる上に標準正規distributonを有する及びベクターに属するものとする部分空間。 $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

今、基本幾何学の言語が登場します。最小二乗推定量の何もなくていない：観察の正射影空間にた属するものとします。残差のベクトルは、：直交補数に投影のにおける。寸法である $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ 。 $\dim(W^\perp)=n-\dim(W)$

最後に、および上の標準正規分布有しその二乗ノルムを有し、従って、を有する分布の自由度。

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

このデモでは、1つの定理、実際には定義定理のみを使用します。

定義と定理。ランダムベクトルベクトル空間上の標準正規分布有しはその値をとる場合は（一方で、その座標を $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ すべてにおいて）正規直交基底は独立した1次元標準正規分布です $U$

（この定義定理から、コクランの定理は非常に明白であるため、それを述べる価値はありません）

— ステファン・ローラン
ソース

RSSがカイ二乗倍npで配信​​されるのはなぜですか？

RSSがカイ二乗倍npで配信されるのはなぜですか？