残差eは誤差の推定量ですか？

この質問は私が始めた別のスレッドで出てきたので、もっと多くの人々の意見を得たいと思いました。私の質問は

残差eは誤差の推定量ですか？$\epsilon$

私が尋ねる理由は次のとおりです。OLSでは、残差の分散は回帰の分散として知られています（RSSは残差の二乗和です）。同様に、この分散の平方根であるは、回帰の標準誤差です。分散の平方根が標準誤差であることを、この分散が推定量の分散であることを意味するはずです。私たちはすでにそれが残差の分散であることを知っています。したがって、残差は推定量ですか？（私はを想定しています）$\frac{\text{RSS}}{(n - K )}$$\sqrt\frac{\text{RSS}}{(n - K )}$$\frac{\text{RSS}}{(n - K )}$$\epsilon$

考え？

確かに残差はある種の推定量です（明確にするために、残差の定義は推定量であり、観測された残差は推定値です）。モデルが正しい場合は、かなり良い推定になることがあります。$\epsilon$

確かに

、$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$

ここで、はハットマトリックスです（「帽子をかぶる」）-射影行列とも呼ばれます。$H = X(X'X)^{-1} X'$$y$

http://en.wikipedia.org/wiki/Hat_matrix

つまり、はそれぞれの線形結合です。場合に適度に大きな相対的（IF Iに'小さい'相対的なものである）、次いで、重量の大部分が上にあるエラー（ただし、これは多くの場合当てはまりません）。ϵ 1 − h i i ∑ j ≠ i h i j H i $e$$\epsilon$$1-h_{ii}$$\sum_{j\neq i}h_{ij}$$H$$i^\textrm{th}$

なお、と同じ期待と差異がありますとの要素場合小さく、ちょうど説明したように、非常にそれと相関する-実際には、私が代数を正しく実行した場合、と間の相関は実際には次のようになります。。 ϵiHeiϵicorr（ei、ϵi）=$e_i/\sqrt{1-h_{ii}}$$\epsilon_i$ $H$ $e_i$$\epsilon_i$$\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$