重回帰係数の標準誤差？

これは非常に基本的な質問であることを認識していますが、どこにも答えが見つかりません。

正規方程式またはQR分解を使用して回帰係数を計算しています。各係数の標準誤差を計算するにはどうすればよいですか？通常、標準エラーは次のように計算されると考えています。

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

各係数のとは何ですか？OLSのコンテキストでこれを計算する最も効率的な方法は何ですか？$\sigma_{\bar x}$

（通常のランダム成分を仮定して）最小二乗推定を行う場合の回帰パラメータの推定値は、通常、真の回帰パラメータに等しい平均と共分散行列を用いて分散されている$\Sigma = s^2\cdot(X^TX)^{-1}$ここで、$s^2$残差分散と$X^TX$は設計マトリックスです。$X^T$の転置である$X$及び$X$モデル式により定義される$Y=X\beta+\epsilon$と$\beta$回帰パラメータと$\epsilon$は誤差項です。ベータパラメーターの推定標準偏差は、の対応する項に$(X^TX)^{-1}$残差分散のサンプル推定値を乗算し、平方根を取得することにより取得されます。これは非常に単純な計算ではありませんが、任意のソフトウェアパッケージが計算して出力で提供します。

例

ドレイパーと（私のコメントで参照）スミスの134ページ、彼らは最小二乗法によりモデルを適合するために、以下のデータを提供してどこε 〜N （0 、Iはσ 2）。$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

勾配を0に近づける例のように見えます。

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

そう

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

そして

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

ここ。$\bar{X} = \sum X_i/n = 60/10 = 6$

β = （X T X ）− 1 X T Yの推定$β = (X^TX)^{-1} X^TY$ =（B0）=（のYb-B1 Xbの）B1 SXY / SXX

b1 = 1/61 = 0.0163およびb0 = 0.5- 0.0163（6）= 0.402

から$(X^TX)^{-1}$上記のSb1 = Se（0.008）およびSb0 = Se（0.395）ここで、Seは誤差項の推定標準偏差です。Se =√2.3085。

方程式をカットアンドペーストしたときに、方程式に下付き文字と上付き文字が含まれていなかったのは残念です。スペースが無視されたため、テーブルもうまく再現できませんでした。3つの数字の最初の文字列は、XYとXYの最初の値に対応し、3つのfollowinf文字列についても同じです。Sumの後に、それぞれXYとXYの合計が表示され、次にそれぞれXYとXYの平方和が表示されます。2x2行列も台無しになりました。括弧の後の値は、左の数字の下の括弧内にある必要があります。