バックグラウンド

回帰モデルに係数がある通常の最小二乗モデルがあるとします。 $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

ここで、は係数のベクトル、は次で定義される設計行列です。 $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ およびエラーはIID通常、

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

推定値を設定することにより、二乗誤差の合計を最小化します。 $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

の不偏推定量は、ここで（ref）。 $\sigma^2$

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

の共分散は $\mathbf{\hat{\beta}}$ 、

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$ で与えられます

ここで

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ （ref）。

質問

どのように私はのためにあることを証明することができます $\hat\beta_i$ 、あります自由度のt分布、およびの標準誤差はによって推定されます。

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

t_{n - k}

$t_{n-k}$

(n - k)

$(n-k)$

{\hat{β}}_{i}

$\hat{\beta}_i$

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

私の試み

からサンプリングされたランダム変数について、 LHSをとして書き直すことによりそして、分子が標準正規分布であり、分母がdf =（n-1）でカイ二乗分布の平方根であり、（n- 1）（ref）。したがって、df =（n-1）（ref）のt分布に従います。 $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

この証明を私の質問に拡張できませんでした...

何か案は？私はこの質問を知っていますが、彼らはそれを明示的に証明せず、「各予測子はあなたにある程度の自由を要します」と言って経験則を与えるだけです。

— ガレット
ソース

は共同正規変数の線形結合であるため、正規分布を持ちます。したがって、必要なことは（1）確立することだけです。（2）が不偏推定量であることを示します。（3）の自由度がます。後者は、このサイトでstats.stackexchange.com/a/16931などのいくつかの場所で証明されています。（1）と（2）の方法を既に知っていると思います。

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

以来、我々は知っているしたがって、各コンポーネントについて、ここで、はの対角要素です。したがって、

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} 〜 N （ 0 、 1 ） 。

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

標準法線ベクトルにおけるべき等二次形式の分布の定理の記述に注意してください（グリーンの定理B.8）。

場合及び対称と冪等であり、次いで、分布しているのランクである。 $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

してみましょう表す回帰残差ベクトルをしてみましょう残留メーカー行列である（つまり、）。が対称でべき等であることを確認するのは簡単です。 $\hat\varepsilon$

M = 私_{n} - バツ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} 、

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

LET ための推定である。

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

次に、線形代数を行う必要があります。次の3つの線形代数プロパティに注意してください。

べき等行列のランクは、そのトレースです。
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ 場合あるとある（このプロパティが動作する以下のために重要です） $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

そう

\begin{aligned} ランク （ M ） = Tr （ M ） & = Tr （ 私_{n} - バツ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} ） \\ = Tr （ 私_{n} ） - Tr （ バツ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} ） ） \\ = Tr （ 私_{n} ） - Tr （ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} バツ ） ） \\ = Tr （ 私_{n} ） - Tr （ 私_{p} ） \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

次に

\begin{aligned} V = \frac{（ n - p ） s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {（ \frac{ε}{σ} ）}^{T} M （ \frac{ε}{σ} ） 。 \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

標準法線ベクトル（上記）に二次形式の分布の定理を適用すると、ます。 $V \sim \chi^2_{n-p}$

は正規分布であると仮定したため、はから独立しており、は関数であるため、も独立しています。したがって、とは互いに独立しています。 $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

次に、は、標準正規分布とカイ2乗分布の平方根の比です。同じ自由度（つまり）を持ち、これは分布の特性です。したがって、統計は、の自由度を持つ分布を持ちます。

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / （ n - p ）}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

その後、代数的に操作してより身近な形にすることができます。

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{（ n - p ） s^{2}}{σ^{2}} / （ n - p ）}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se （ {\hat{β}}_{k} ）} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— ブルーマーカー
ソース

また、サイドの質問：のためにTheorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector、が対称である必要もありませんか？残念ながら、私はグリーンを持っていないので、ウィキペディアがあなたと同じ形をしているのを見たが、証拠を見ることができません。ただし、カウンターの例は、べき等行列で、になります。これは、負の値をとることができるため、カイ二乗ではありません。 ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— ギャレット14年

私の謝罪@Garrett、対称と冪等の両方でなければなりません。この文書では定理3として証明が提供されています：www2.econ.iastate.edu/classes/econ671/hallam/documents/…幸いなことに、はis等であると同時に対称でもあります。

A

$A$

M

$M$

— ブルーマーカー14年

A

$A$ 単にある二次形式の行列表現。すべての2次形式には対称表現があるため、の対称性の要件は定理の記述で暗黙的です。（人々は二次形式を表すために非対称行列を使用しません。）したがって、二次形式は、行列によって一意に表され等ではありません。

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— whuber

なぜを意味するものでから独立している？そこにはまったく従いません。

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— Glassjawed

@Glassjawedとはともに多変量正規分布であるため、非相関性は独立性を意味します。式の使用および from上記では、ます。

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

OLSモデルの係数が（nk）自由度のt分布に従うことの証明

バックグラウンド

質問

私の試み