なぜですか？（1変数線形回帰）

14

注： =合計平方和、 = 平方誤差合計、 =回帰平方和。タイトルの方程式は、多くの場合次のように記述されます。 $SST$ $SSE$ $SSR$

\sum_{私 = 1}^{n} （ y_{私} - \bar{y} ）^{2} = \sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ）^{2} + \sum_{私 = 1}^{n} （ {\hat{y}}_{私} - \bar{y} ）^{2}

$\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2$

かなり簡単な質問ですが、直感的な説明を探しています。直感的には、がより理にかなっているように思えます。たとえば、ポイントに対応するy値およびとします。ここで、は回帰直線上の対応するポイントです。また、データセットの平均y値がと仮定し。次に、この特定のポイントiについて、、および。明らかに、です。この結果はデータセット全体に一般化されませんか？わかりません。 $SST\geq SSE+SSR$ $x_i$ $y_i=5$ $\hat y_i=3$ $\hat y_i$ $\bar y=0$ $SST=(5-0)^2=5^2=25$ $SSE=(5-3)^2=2^2=4$ $SSR=(3-0)^2=3^2=9$ $9+4<25$

regression least-squares r-squared

— カム
ソース

1

非常に密接に関連するスレッドがまた良い答えを持っている：stats.stackexchange.com/questions/1447、stats.stackexchange.com/questions/118、stats.stackexchange.com/questions/123651、stats.stackexchange.com/questions/204930、およびstats.stackexchange.com/questions/127598。

— whuber

15

加算と減算により、したがって、。書き込みしたがって、（a）残差は値に直交する必要があります、、および（b）適合値の合計は、従属変数の合計

\begin{array}{rcl} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} & = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i} + {\hat{y}}_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) + \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2} \end{array}

$\begin{eqnarray*} \sum_{i=1}^n (y_i-\bar y)^2&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\ &=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2 \end{eqnarray*}$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) = 0

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=0$

\sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ） （ {\hat{y}}_{私} - \bar{y} ） = \sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ） {\hat{y}}_{私} - \bar{y} \sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ）

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=\sum_{i=1}^n(y_i-\hat y_i)\hat y_i-\bar y\sum_{i=1}^n(y_i-\hat y_i)$

e_{i} = y_{i} - {\hat{y}}_{i}

$e_i=y_i-\hat y_i$

\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) {\hat{y}}_{i} = 0

$\sum_{i=1}^n(y_i-\hat y_i)\hat y_i=0$

\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} {\hat{y}}_{i}

$\sum_{i=1}^ny_i=\sum_{i=1}^n\hat y_i$ 。

実際、（a）は、単一変数のケースが特別なケースである一般的な重回帰の行列表記で表示する方が簡単だと思います：（b）に関しては、定数に関するOLS基準関数の導関数（つまり、これを真にするためには回帰に1つ必要です！）、別名正規方程式は、これはに再配置できます。この式の右辺も明らかに。

\begin{array}{rcl} e^{'} バツ \hat{β} & = & （ y - バツ \hat{β} ）^{'} バツ \hat{β} \\ = & （ y - バツ （ {バツ}^{'} バツ ）^{- 1} {バツ}^{'} y ）^{'} バツ \hat{β} \\ = & y^{'} （ バツ - バツ （ {バツ}^{'} バツ ）^{- 1} {バツ}^{'} バツ ） \hat{β} \\ = & y^{'} （ バツ - バツ ） \hat{β} = 0 \end{array}

$\begin{eqnarray*} e'X\hat\beta &=&(y-X\hat\beta)'X\hat\beta\\ &=&(y-X(X'X)^{-1}X'y)'X\hat\beta\\ &=&y'(X-X(X'X)^{-1}X'X)\hat\beta\\ &=&y'(X-X)\hat\beta=0 \end{eqnarray*}$

\frac{\partial S S R}{\partial \hat{α}} = - 2 \sum_{私} （ y_{私} - \hat{α} - \hat{β} {バツ}_{私} ） = 0 、

$\frac{\partial SSR}{\partial\hat\alpha}=-2\sum_i(y_i-\hat\alpha-\hat\beta x_i)=0,$

\sum_{i} y_{i} = n \hat{α} + \hat{β} \sum_{i} x_{i}

$\sum_i y_i=n\hat\alpha+\hat\beta\sum_ix_i$

\sum_{i = 1}^{n} {\hat{y}}_{i}

$\sum_{i=1}^n\hat y_i$

{\hat{y}}_{i} = \hat{α} + \hat{β} x_{i}

$\hat y_i=\hat\alpha+\hat\beta x_i$ 。

— クリストフ・ハンク
ソース

3

（1）である理由の直観 $SST = SSR + SSE$

Y（）の合計変動を1つの説明変数Xで説明しようとすると、変動の原因は正確に2つあります。最初に、X（Sum Square Regression）でキャプチャされた変動性があり、2番目に、X（Sum Square Error）でキャプチャされなかった変動性があります。したがって、（完全に等しい）。 $SST$ $SST = SSR + SSE$

（2）幾何学的直観

最初のいくつかの写真（特に3番目）をご覧ください：https : //sites.google.com/site/modernprogramevaluation/variance-and-bias

データ中の全変動の一部（データポイントからの距離）回帰直線（の回帰直線からの距離によって捕捉されたとエラー）（点からの回帰直線までの距離）。がより大きくなる余地はありません。 $\bar{Y}$ $\bar{Y}$ $SST$ $SSE + SSR$

（3）イラストの問題

SSEとSSRを個別に見ることはできません。特定の点については、残差が大きくなる可能性があり、Xからの説明力よりも多くの誤差があります。しかし、他の点については、残差が小さくなり、回帰直線が多くの変動性を説明します。それらはバランスを取り、最終的にます。もちろん、これは厳密ではありませんが、上記のような証明を見つけることができます。 $SST = SSR + SSE$

また、回帰は1ポイントに対して定義されないことに注意してください：、分母がゼロになり、推定が未定義になることがわかります。 $b_1 = \frac{\sum(X_i -\bar{X})(Y_i-\bar{Y}) }{\sum (X_i -\bar{X})^2}$

お役に立てれば。

-ライアンM.

— RMurphy
ソース

1

切片が線形回帰に含まれる場合（残差の合計がゼロ）、。 $SST=SSE+SSR$

証明最後の部分が0に等しいことを証明する必要があります：最小二乗回帰では、誤差の二乗の合計が最小化されます。

\begin{array}{rcl} S S T & = & \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i} + {\hat{y}}_{i} - \bar{y})^{2} \\ = & \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2} + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) + \sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2} \\ = & S S E + S S R + 2 \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) \end{array}

$\begin{eqnarray*} SST&=&\sum_{i=1}^n (y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i+\hat y_i-\bar y)^2\\&=&\sum_{i=1}^n (y_i-\hat y_i)^2+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)+\sum_{i=1}^n(\hat y_i-\bar y)^2\\&=&SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y) \end{eqnarray*}$

\begin{array}{rcl} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) ({\hat{y}}_{i} - \bar{y}) & = & \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) (β_{0} + β_{1} x_{i} - \bar{y}) \\ = & (β_{0} - \bar{y}) \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) + β_{1} \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i}) x_{i} \end{array}

$\begin{eqnarray*} \sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)&=&\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)(\beta_0+\beta_1x_i-\bar y)\\&=&(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i \end{eqnarray*}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_i\right)^2$ に関してSSEの偏導関数を、ゼロに設定します。したがってに関するSSEの偏導関数を、ゼロに設定します。したがってしたがって、

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i})}^{1} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0$

\sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{1} = 0

$\sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 = 0$

β_{1}

$\beta_1$

\frac{\partial S S E}{\partial β_{1}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i})}^{1} x_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_1}} = \sum_{i=1}^n 2\left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0$

\sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i})}^{1} x_{i} = 0

$\sum_{i=1}^n \left(y_i - \beta_0 - \beta_1x_i\right)^1 x_i = 0$

\sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ） （ {\hat{y}}_{私} - \bar{y} ） = （ β_{0} - \bar{y} ） \sum_{私 = 1}^{n} （ y_{私} - β_{0} - β_{1} {バツ}_{私} ） + β_{1} \sum_{私 = 1}^{n} （ y_{私} - β_{0} - β_{1} {バツ}_{私} ） {バツ}_{私} = 0

$\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=(\beta_0-\bar y)\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)x_i=0$

S S T = S S E + S S R + 2 \sum_{私 = 1}^{n} （ y_{私} - {\hat{y}}_{私} ） （ {\hat{y}}_{私} - \bar{y} ） = S S E + S S R

$SST=SSE+SSR+2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i-\bar y)=SSE+SSR$

— デビッドクルーズ
ソース

1

これはピタゴラスの定理です！ここに画像の説明を入力してください

— user0
ソース

stats.stackexchange.com/q/71620/171583、stats.stackexchange.com/a/256532/171583。

— アヨルゴ