線形回帰で係数の分散共分散行列を導き出す方法

私は線形回帰に関する本を読んでいて、分散共分散行列を理解するのに苦労しています$\mathbf{b}$：

対角線の項目は簡単ですが、非対角線の項目はもう少し難しいです。私が困惑しているのは、

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

ただし、ここにはと痕跡はありません。$\beta_0$$\beta_1$

これは実際には、回帰の基本的な理解に挑戦するクールな質問です。

最初に表記法に関する最初の混乱を取り除きます。回帰を見ています：

$$y=b_0+b_1x+\hat{u}$$

ここで$b_0$及び$b_1$真の推定量である$\beta_0$及び$\beta_1$、およびUは回帰の残差です。したがって、基礎となる真の非観測回帰は次のように示されることに注意してください。$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

期待と$E[u]=0$と分散$E[u^2]=\sigma^2$。いくつかの書籍が示す$b$のようにβを、我々はここで、この規則を適応させます。我々はまた、行列表記、使用するbはの推定保持する2×1ベクトルであり、β =を[ β 0、β 1 ] '、すなわち、B = [ B 0、B 1 ] '$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$。（わかりやすくするために、以下の計算ではXを固定として扱います。）

さてあなたの質問に。共分散の式は確かに正しい、つまり：

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

私はあなたが私たちが真の未観測の係数が持って来る方法を知りたいと思う$\beta_0, \beta_1$この式では？数式を展開してさらに一歩進んだ場合、実際にキャンセルされます。これを確認するには、推定量の母分散が次の式で与えられることに注意してください。

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

この行列は、対角要素の分散と非対角要素の共分散を保持します。

上記の式に到達するために、マトリックス表記を使用してクレームを一般化します。私たちしたがって表す分散をさせ$Var[\cdot]$を有すると期待値$E[\cdot]$。

$$Var[b]=E[b^2]-E[b]E[b']$$

基本的に、マトリックス表記を使用した一般的な分散式があります。この式は、推定量$b=(X'X)^{-1}X'y$の標準式に代入すると解決します。また、$E[b]=\beta$が不偏推定量であると仮定します。したがって、以下を取得します。

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

我々は右手側にあることに注意してください$\beta^2$ 2x2の行列、すなわち- $bb'$が、あなたは、この時点ですでにまもなくこの用語で何が起こるかを推測します。

上記の真の基になるデータ生成プロセスの式で$y$を置き換えると、次のようになります。

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

since $E[u]=0$. Furthermore, the quadratic $\beta^2$ term cancels out as anticipated.

Thus we have:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

$E[u^2]=\sigma^2$ and $((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$ since $X'X$ is a $K\times K$ symetric matrix and thus the same as its transpose. Finally we arrive at

$$Var[b]=\sigma^2(X'X)^{-1}$$

Now that we got rid of all $\beta$ terms. Intuitively, the variance of the estimator is independent of the value of true underlying coefficient, as this is not a random variable per se. The result is valid for all individual elements in the variance covariance matrix as shown in the book thus also valid for the off diagonal elements as well with $\beta_0\beta_1$ to cancel out respectively. The only problem was that you had applied the general formula for the variance which does not reflect this cancellation at first.

Ultimately, the variance of the coefficients reduces to $\sigma^2(X'X)^{-1}$ and independent of $\beta$. But what does this mean? (I believe you asked also for a more general understanding of the general covariance matrix)

Look at the formula in the book. It simply asserts that the variance of the estimator increases for when the true underlying error term is more noisy ($\sigma^2$ increases), but decreases for when the spread of X increases. Because having more observations spread around the true value, lets you in general build an estimator that is more accurate and thus closer to the true $\beta$. On the other hand, the covariance terms on the off-diagonal become practically relevant in hypothesis testing of joint hypotheses such as $b_0=b_1=0$. Other than that they are a bit of a fudge, really. Hope this clarifies all questions.

In your case we have

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Invert this matrix and you will get the desired result.

It appears that $\beta_0 \beta_1$ are the predicted values (expected values). They make the switch between $E(b_0)=\beta_0$ and $E(b_1)=\beta_1$.