切片が含まれる場合、線形回帰の残差が常にゼロになるのはなぜですか？

14

私は回帰モデルのコースを取っていますが、線形回帰に提供されるプロパティの1つは、切片が含まれるときに残差が常にゼロになることです。

なぜそうなのか、誰かが良い説明を提供できますか？

regression residuals

— dts86
ソース

3

あなたは最初の熟考に単変量サンプルでは、それぞれの値からサンプルの平均を減算することにより、あなたが得る残差も0に合計理由の密接に関連するが単純な質問（。あなたができる場合によって代数を、次の試してみてください）好きかもしれない

— Glen_bを-モニカの復元

3

「合計がゼロ」が「説明変数の1つに直交する」ことを認識するとすぐに、答えは幾何学的に明白になります。

— whuber

18

これは、正規方程式、つまりOLS推定器が解く方程式から直接得られます。

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

括弧内のベクトルは、もちろん、残差ベクトル、または線形代数が好きならの列空間の直交補数へのの投影です。行列に1のベクトルを含めると、従来のように最初の列にある必要はありませんが、 $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

2変数問題では、これは見やすくなります。2乗残差の合計を最小化すると、

\sum_{私 = 1}^{n} （ y_{私} - a - b {バツ}_{私} ） = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

切片に関する微分を取るとき。これから、おなじみの推定量を取得します

a = \bar{y} - b \bar{バツ}

$a = \bar{y} - b \bar{x}$

ここでも、推定量の構成がこの条件を課していることがわかります。

— JohnK
ソース

16

かなり直感的な説明を探している場合。

ある意味では、線形回帰モデルは単なる平均にすぎません。算術平均を見つけるには $\bar{x}$ いくつかの値に対して $x_1, x_2, \dots, x_n$ 、我々が意味で中心性の尺度である値を見つけ、その各偏差として定義されている全ての偏差（の和 $u_i = x_i - \bar{x}$ ）平均値の右側は、その平均の左側にあるすべての偏差の合計に等しくなります。サンプルの平均を説明する最良の方法は言うまでもなく、この測定が優れているという固有の理由はありませんが、それは確かに直感的で実用的です。重要な点は、このように算術平均を定義することにより、算術平均を作成したら、その平均からのすべての偏差は定義によりゼロになる必要があるということです！

線形回帰では、これに違いはありません。私たちは（回帰直線上にある）当てはめ値とされている実際の値との間のすべての差の合計ようなラインにフィットより上のラインが正確に回帰直線と全ての値の間のすべての差の合計に等しく、下記ライン。繰り返しますが、これがフィットを構築するための最良の方法である固有の理由はありませんが、それは簡単で直感的に魅力的です。算術平均の場合と同様に、この方法で近似値を構築することにより、必然的に、その行からのすべての偏差がゼロになる必要があります。そうでなければ、これはOLS回帰ではありません。

— マヌエルR
ソース

2

+1を使用して、単純明快で直感的な答えを得ることができます

2

切片は、多重線形回帰

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$ に含まれている場合

最小二乗回帰での二乗和エラーは最小限に抑えられます。

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$ 偏微分を取ります

β_{0}

$\beta_0$ に関してSSEの

に設定します。

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ したがって、切片が線形回帰に含まれる場合、残差は常にゼロになります。

— デビッドクルーズ
ソース

1

$1$ $X$

1 = バツ e 、

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

したがって、

\begin{aligned} 1^{T} （ y - \hat{y} ） = 1^{T} （ 私 - H ） y \\ = & e^{T} {バツ}^{T} （ 私 - バツ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} ） y \\ = & e^{T} （ {バツ}^{T} - {バツ}^{T} バツ （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} ） y \\ = & e^{T} （ {バツ}^{T} - {バツ}^{T} ） y \\ = & 0。 \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— han雄
ソース

0

行列代数を使用した簡単な導出：

$\sum e$ として書くことができます $1^Te$

それから

$1^Te = 1^T(M_x y)$ どこ $M_x$ は直交行列です。以来 $M_x$ 対称であるため、再配置できるため、 $(M_x1)^Ty$

ゼロに等しい場合 $M_x$ そして $1$ 直交である。これは、リグレッサの行列が $x$ contains the intercept (a vector of $1$ , indeed).

— Mino
ソース

I don't think this is right.

— Michael R. Chernick

If you explain why then I will be happy to learn something

— Mino

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ so $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Hunaphu
ソース