線形回帰：*なぜ*二乗和を分割できるのか？

9

この投稿は、2変量線形回帰モデルます。私は常に、総二乗和（SSTO）を誤差の二乗和（SSE）とモデルの二乗和（SSR）に信頼性をもって分割してきましたが、一度考え始めたら、わかりません。なぜ機能するのか ... $Y_i = \beta_0 + \beta_1x_i$

私が理解している部分：

$y_i$ ：yの観測値

$\bar{y}$ ：観測されたすべての sの平均 $y_i$

$\hat{y}_i$ ：特定の観測値のxに対するyの適合/予測値

$y_i - \hat{y}_i$ ：残差/エラー（平方され、すべての観測値に対して合計された場合、これはSSEです）

$\hat{y}_i - \bar{y}$ ：モデルフィッティングされた値が平均とどの程度異なるか（平方され、すべての観測値に対して合計された場合、これはSSRです）

$y_i - \bar{y}$ ：観測された値が平均とどの程度異なるか（すべての観測で保証され、合計された場合、これはSSTOです）。

何も二乗せずに、単一の観測で理由を理解できます。そして、理由を理解できます。すべての観測値を合計したい場合は、それらを2乗する必要があります。そうしないと、合計が0になります。 $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

理由がわかりません（例：SSTO = SSR + SSE）。あなたが、状況があればということであるように思わは、、ない。なぜそうではないのですか？ $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— ブルーマウス
ソース

5

最後の段落で要約を省略しました。SST = SSR + SSEは合計ですが、直前に書いたあなたの等式は、そこに合計記号がないと実際には真ではありません。

i

$i$

— Glen_b-2017

最後の段落では、（たとえば、SSTO = SSR + SSE）が必要ではありません（例：SSTO = SSR + SSE）。「eg」は、ラテン語の「exempli gratia」または「たとえば」のラテン語句の省略形です。"ie"は " id est "の略で、英語で "つまり" と読むことができます。

— Matthew Gunn 2017年

9

あなたが、状況があればということであるように思わは、、ない。なぜそうではないのですか？ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

概念的には、とは直交している（つまり、直交している）ため、であるという考え方です。 $BC = 0$ $B$ $C$

ここでの線形回帰のコンテキストでは、残差 y_i-は、意地悪な予測 _i-直交してい。線形回帰からの予測は、が直交分解であるため、同様の意味で直交分解を作成します。 $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

線形代数バージョン：

みましょう：

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

線形回帰（定数を含む）は、を2つのベクトルの合計に分解します：予測と残差 $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

してみましょうは内積を示します。（より一般的には、は内積することができます。） $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

最後の行は、（つまり、とは直交です）。通常の最小二乗回帰が構築する方法に基づいて、とが直交していることを証明できます。 $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ である線状突起のによって定義される部分空間への線形スパン説明変数の、など、....残差はその部分空間全体に直交するため、（、などのスパンにある）は直交。 $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

を内積として定義したので、は、単に（つまり、SSTO = SSR + SSE） $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— マシューガン
ソース

8

全体のポイントは、特定のベクトルが直交し、ピタゴラスの定理を使用することを示しています。

多変量線形回帰について考えてみましょう。OLS推定量はことはわかっています。今見積もりを検討してください $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ （H行列は「ハット」行列とも呼ばれます）

ここで、はYのへの正射影行列です。今私たちは持っています $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

ここで、の直交補への射影行列であり、であり、。したがって、とは直交していることがわかります。 $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

次に、サブモデル考えます。 $Y = X_0\beta_0 + \epsilon$

ここで、と、OLS推定器があり、への射影行列を使用してとをします。同様に、とは直交していることがます。そしていま $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

ここで再び、の補数に正射影行列であり、である。したがって、と直交性があります。つまり、最後に $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

そして最後に $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

最後に、考えると、平均は単にです。 $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— ŁukaszGrad
ソース

回答ありがとうございます！S（）とは何ですか（投稿のS（X）のように）？

— bluemouse 2017年

S (X)

$S(X)$ は、行列の列によって生成される部分空間です。

X

$X$

— ŁukaszGrad