多重相関係数

Iは、複数の相関の幾何学的な意味に興味 $R$ 決意するのと係数 $R^2$ 回帰における $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$ 、またはベクトル表記で、

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

ここで、設計行列 $\mathbf{X}$ 有する $n$ 行および $k$ 列を、そのうちの最初のものである $\mathbf{x}_1 = \mathbf{1}_n$ 、切片に相当するが、その1Sのベクトル $\beta_1$ 。

ジオメトリは、次元の可変空間ではなく、 $n$ 次元の対象空間でより興味深いものです。帽子行列を定義します。 $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

これは、の列空間への正射影です $\mathbf{X}$ 。つまり、各変数表すベクトルが広がる原点を通る平面です。その最初はです。次いで、観測された応答のベクトル突出平坦にその「影」に、近似値のベクトル、と我々は残差のベクトルを参照投影経路に沿って見た場合に $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ 三角形の3番目の辺を形成します。これにより、幾何学的な解釈への2つのルートが提供され $R^2$ ます。

複数の相関係数の二乗 $R$ との間の相関として定義され、 $\mathbf{y}$ および。これは、角度の余弦として幾何学的に表示されます。 $\mathbf{\hat{y}}$
ベクトルの長さの点で：例えば、 $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$ 。

私は次のことを説明する簡単なアカウントを見て喜んでいるでしょう。

（1）および（2）の詳細
（1）と（2）が同等である理由、
簡単に言えば、幾何学的な洞察によって基本的なプロパティを視覚化する方法、たとえば、ノイズ分散が0になったときに1になる理由などです（結局、視覚化から直観できない場合は、画像。） $R^2$

変数が最初に中央に配置され、質問からインターセプトが削除される場合、これはより簡単です。ただし、重回帰を導入するほとんどの教科書の記述では、設計マトリックスは私がレイアウトしたとおりです。もちろん、博覧会が中心の変数にまたがる空間を掘り下げても大丈夫ですが、教科書の線形代数の洞察のために、これを中心から外れた状況で幾何学的に起こっていることと関連づけることは非常に役立ちます。本当に洞察に満ちた答えは説明するかもしれない、正確に幾何学的に破壊しているもの切片項がドロップされたとき -つまり際のベクトル $\mathbf{X}$ $\mathbf{1}_n$ スパニングセットから削除されます。この最後の点は、中心変数のみを考慮することで対処できるとは思いません。

— 銀魚
ソース

モデルの定数項が存在する場合、の列空間にある（そうであるよう後で有用に来ます）。フィット観察さの正射影であるその列空間によって形成された平坦な上。この手段残差のベクトルフラットに垂直であり、したがってに。内積を考慮すると、であることがわかるので、 $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ は合計がゼロでなければなりません。以来、、我々は、と結論両嵌合観測された応答は、平均有すること。 $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$

重回帰の対象空間のベクトル

図中の破線は表し及びであり、中心に観察し、フィット応答のベクター。角度の余弦これらのベクトルの間の故の相関になり及びの定義により、複数の相関係数である、。これらのベクターは、残差のベクトルと三角形を形成するので直角れるフラットにあるものの $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ はそれに直交します。したがって： $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

ピタゴラスを三角形に適用することもできます。

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

これは次のようによく知られています：

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

これは二乗和の分解、です。 $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

決定係数の標準定義は次のとおりです。

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

When the sums of squares can be partitioned, it takes some straightforward algebra to show this is equivalent to the "proportion of variance explained" formulation,

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

There is a geometric way of seeing this from the triangle, with minimal algebra. The definitional formula gives $R^2 = 1 - \sin^2(\theta)$ and with basic trigonometry we can simplify this to $\cos^2(\theta)$ . This is the link between $R^2$ and $R$ .

Note how vital it was for this analysis to have fitted an intercept term, so that $\mathbf{1_n}$ was in the column space. Without this, the residuals would not have summed to zero, and the mean of the fitted values would not have coincided with the mean of $Y$ . In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$ . In this situation, some software (including R) uses a different formula for $R^2$ altogether.

— Silverfish
ソース

+1 Very nice write-up and figure. I am surprised that it only has my single lonely upvote.

— amoeba says Reinstate Monica

+1. Note that the figure of your answer, with "column space X", Y, Ypred as vectors etc. is what is known in multivariate statistics as "(reduced) subject space representation" (see, with further links where I've used it).

— ttnphns