単純な線形回帰では、残差の分散の式はどこから来ますか？

私が使用しているテキストによると、残差の分散の式は次のようになります。 $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

残差は観測値と適合値の差であるため、これは信じがたいことです。差の分散を計算する場合、少なくとも、結果の式にいくつかの「プラス」が期待されます。派生を理解する上で助けていただければ幸いです。 $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— エリック
ソース

テキスト内の一部の「」記号が「」記号として誤ってレンダリングされている（または誤読されている）可能性はありますか？

+

$+$

-

$-$

— whuber

私はこれを考えていましたが、テキストで2回（2つの異なる章）起こったので、ありそうもないと思いました。もちろん、式の導出が役立ちます！:)

— エリック14

負の値は、観測値とその適合値の間の正の相関の結果であり、差の分散が減少します。

— Glen_b-モニカの復活14

@Glen数式が理にかなっていることが判明した理由と、以下のマトリックスの導出に感謝します。

— エリック14

分散に関連する「プラス」記号についての直観（独立したランダム変数の差の分散を計算するときでも、それらの分散を追加するという事実から）は正しいが致命的に不完全です：関与するランダム変数が独立していない場合、共分散も含まれます-共分散は負になる場合があります。ある表現が存在し、ほとんどそれは（私にして）OPでも「必要がある」と考えられていた問題の表現のように、それがあるの分散予測誤差、それが表す、、ここで： $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

予測誤差の分散と推定誤差の分散（すなわち、残差）の重大な違いは、値が使用されていないため、予測観測の誤差項が推定器と相関していないことです。推定器を構築し、サンプル外の値である推定値を計算します。 $y^0$

両方の代数は（代わりにを使用して）点までまったく同じように進みますが、その後、発散します。具体的には： $^0$ $_i$

単純な線形回帰、、推定量の分散はまだ $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

我々は持っています

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

など

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

我々は持っています

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

そう

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

つまり

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

番目の残差は次のように定義され $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

実際の係数は定数として扱われ、リグレッサは固定（または条件付き）であり、誤差項との共分散はゼロですが、推定器は従属変数と従属変数を含むため、推定器は誤差項と相関していますエラー用語が含まれています。だから私たちは

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

入手するには少し梱包してください

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

大括弧内の用語は、唯一の変化は、代わりにということで、予測誤差の分散と全く同じ構造を有している私たちが持っています（および分散がそのことになりますではない）。最後に、共分散項は、予測誤差はゼロであるので、、したがってされていないため、推定には含まが、ゼロでない推定誤差のためひいては試料の一部であるとは、それが中に含まれています推定量。我々は持っています $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

計算方法からの最後の置換。続く $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

これを残差の分散の式に挿入すると、次が得られます。

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

そのため、OPが使用しているテキストを嫌います。

（私はいくつかの代数操作をスキップしました、OLS代数が最近ますます教えられているのも不思議ではありません...）

いくつかの直感

したがって、予測の際に「対抗」する（変動が大きい）ものが、推定の際に「対合」する（変動が小さい）ように見えることがわかります。これは、優れた適合がモデルの予測能力にとって悪い兆候である理由を熟考するための良い出発点です（しかし、これは直感に反するかもしれませんが...）。リグレッサーの期待値を推定
しているという事実は、分散を減少させます。どうして？というのは、本質的に期待値を推定するため、を推定することにより、サンプルに存在するエラー変動性に「目を閉じる」からです。さらに、回帰変数の標本平均からの回帰変数の観測値の偏差が大きいほど、 $1/n$ この観測に関連する残差の分散は...観測から逸脱するほど、その残差は小さくなります... 未知のエラーの「場所をとる」ことにより、私たちのために働くのは回帰変数の変動です。変動性。

しかし、それは推定には適しています。予測については、同じことが逆になります。今、ばらつきを不完全に考慮しないことで（予測したいので）、サンプルから得られた不完全な推定量はそれらの弱点を示しています：サンプル平均、真の期待値はわかりません-分散が増加します。他の観測から計算されたサンプル平均から遠く離れたがあります-あまりにも悪いです、予測されたは迷う傾向があるので、予測誤差の分散は別のブーストを取得します...科学言語「予測誤差の分散を減らすという意味での最適な予測子は、 $y^0$ $x^0$ $\hat y^0$ 予測中の変数の平均に向けた収縮」。従属変数の変動性を再現しようとはせず、単に「平均に近い」状態を維持しようとします。

— アレコスパパドプロス
ソース

非常に明確な答えをありがとう！私の「直感」が正しかったことを嬉しく思います。

— エリック14

アレコス、私はこれが正しいとは思わない。

— -Glen_b-モニカの復活14

@Alecosの間違いは、パラメーターの推定値をエラー項と無相関にすることです。この部分：はありません。

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b-モニカの復活14

@Eric誤解を招いたことをおaびします。私は両方の式についていくつかの直観を提供しようとしました。

— アレコスパパドプロ14

+1なぜこのために重回帰のケースを行ったのかを見ることができます...単純な回帰のケースを行う余分な努力に感謝します。

— -Glen_b-モニカの復活2014

あまりにも抽象的で、直感的な説明が不足しているので、やや簡潔な答えで申し訳ありませんが、後で戻って詳細を追加してみます。少なくとも短いです。

所与、 $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

したがって

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

単純な線形回帰の場合...これはあなたの質問に答えを与えます。

この答えも理にかなっています。はと正の相関があるため、差の分散は分散の合計よりも小さくなければなりません。 $\hat{y}_i$ $y_i$

編集：理由の説明あるべき等。 $(I-H)$

（i）はdem等： $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

（ii） $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Reinstate Monica
ソース

これは単純さの点で非常に優れた派生ですが、私には明らかではない1つのステップがある理由です。とにかくあなたが答えを少し広げると、とにかくやろうとしているので、それについて少し何か言うことができますか？

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— ジェイクウェストフォール14

最後に数行を追加しました@Jake

— Glen_b -Reinstateモニカ