線形回帰係数の標準誤差を導き出す方法

20

この単変量線形回帰モデルデータセット場合、係数推定はここで私の質問によれば、 bookおよびWikipedia、の標準エラーは方法と理由

y_{私} = β_{0} + β_{1} {バツ}_{私} + ϵ_{私}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = \frac{\sum_{私} {バツ}_{私} y_{私} - n \bar{バツ} \bar{y}}{n {\bar{バツ}}^{2} - \sum_{私} {バツ}_{私}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{バツ}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{私} {\hat{ϵ}}_{私}^{2}}{（ n - 2 ） \sum_{私} （ {バツ}_{私} - \bar{バツ} ）^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— アボカド
ソース

1

— ocram

@ocram、ありがとう、しかし、私はマトリックスのようなものを扱う能力があまりないので、試してみます。

— アボカド14

1

@ocram、私はすでにそれがどのように来るかを理解しています。しかし、まだ質問：私の投稿では、標準エラーには

(n - 2)

$(n-2)$ がありますが、あなたの答えによれば、そうではないのはなぜですか？

— アボカド14

15

上記の3番目のコメント：それがどのように発生するかは既に理解しています。しかし、まだ質問：私の投稿では、標準エラーには（n-2）がありますが、あなたの答えによれば、そうではないのはなぜですか？

で私のポストは、その発見された

\hat{se} （ \hat{b} ） = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum {バツ}_{私}^{2} - （ \sum {バツ}_{私} ）^{2}}} 。

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$ 分母は

と書くことができます。

n \sum_{私} （ {バツ}_{私} - \bar{バツ} ）^{2}

$n \sum_i (x_i - \bar{x})^2$ したがって、

\hat{se} （ \hat{b} ） = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{私} （ {バツ}_{私} - \bar{バツ} ）^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{私} {\hat{ϵ}}_{私}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$ ANOVAテーブルのすなわち平均二乗誤差（MSE）、私たちはあなたの表現で終わります用

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$ 。

n - 2

$n-2$ という用語は、切片と傾きの推定における2自由度の損失を占めます。

— ocram
ソース

1

私は他のすべてが最後の部分を期待していると思う。なぜかを段階的に示すことができますか？私もそれが自由度に関係していることを知っていますが、数学はわかりません。

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— -Mappi

2

n-2 dfのもう1つの考え方は、2つの手段を使用して勾配係数（YとXの平均）を推定するためです。

Wikipediaのdf： "...一般に、パラメータの推定の自由度は、推定に入る独立スコアの数から、パラメータ自体の推定の中間ステップとして使用されるパラメータの数を引いたものに等しい」

— アイビンド
ソース

2

これは直感そのものですが、実際にはそのような派生物ではありません。ただし、これに関連する微妙な点については、自由度を理解する方法を

— シルバーフィッシュ