残差は根本的な障害とどのように関連していますか？

最小二乗法では、モデルの未知のパラメーターを推定します。

（いくつかの観測値について）それを実行すると、近似回帰直線が得られます。

ここで明らかに、いくつかのプロットをチェックして、仮定が満たされていることを確認します。等分散性をチェックしたいとしますが、これを行うには、実際には残差チェックしています。残差対予測値のプロットを調べて、不等分散性が明らかであることがわかった場合、それが外乱項とどのように関係しているのでしょうか。残差の異分散性は、外乱条件の異分散性を意味しますか？ ε $e_j$$\varepsilon_j$

これについて考える最も簡単な方法は、生の残差（）が対応する外乱の推定値（）であることです。ただし、さらに複雑さがいくつかあります。たとえば、標準のOLSモデルでは、誤差/外乱は独立していると想定していますが、残差はすべて独立しているわけではありません。一般に、平均モデルの推定に自由度を使用しており、残差は合計がになるように制約されているため、独立できるのは残差のみですε J = EのJ N - P - 1 、P - 1 $e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$$0$。さらに、生の残差の標準偏差は実際には一定ではありません。一般に、回帰直線は、平均してレバレッジの高いポイントに近づくように調整されます。その結果、それらのポイントの残差の標準偏差は、レバレッジの低いポイントの標準偏差よりも小さくなります。（これについての詳細は、ここで回答を読むと役立つ場合があります：plot.lm（）の解釈、および/またはここ：線形回帰でバイナリ/二分独立予測子の残差分析を実行する方法？）

関係と。$\hat{\varepsilon}$$\varepsilon$

ここで、ハット行列であるはです。$H$$X(X^TX)^{-1}X^T$

つまり、はすべてのエラーの線形結合ですが、通常、重みのほとんどは番目のものに該当します。$\hat{\varepsilon}_i$$i$

carsR のデータセットを使用した例を次に示します。紫色でマークされた点を考えます。

それをポイントと呼びましょう。残差、。ここで、他のエラーのは-0.02の範囲にあります。$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

これを次のように書き直すことができます。

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

より一般的に

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

ここで、は番目の対角要素です。同様に、上記のはです。 i H w j h i $h_{ii}$$i$$H$$w_j$$h_{ij}$

エラーがiid場合、この例では、他のエラーの加重和は、その残差に対する番目の観測値のエラーの影響の約1/7に対応する標準偏差になります。。$N(0,\sigma^2)$$i$

つまり、行儀の良い回帰では、残差はほとんど、観測できないエラー項の適度にノイズの多い推定のように扱うことができます。中心から離れた点を考えると、物事はいくらかうまく機能しません（残差はエラーへの重み付けが少なくなり、他のエラーの重みは均等になります）。

多くのパラメーターがある場合、またはがあまりうまく分布していない場合、残差はエラーのように少なくなります。いくつかの例を試してみてください。$X$