単純な線形回帰のサンプル相関とR統計の同等性

10

サンプル相関乗は、単純な線形回帰の決定係数に等しいとよく言われます。私はこれを自分で示すことができなかったので、この事実の完全な証拠に感謝します。 $r^2$ $R^2$

regression correlation

— edwardsm88
ソース

1

これが自習用の質問である場合は、適切なタグを追加してください。

— アンディ

この質問は、なぜかを尋ねます。

R^{2} = r^{2}

$R^2=r^2$

— Silverfish 2015年

8

表記に多少のばらつきがあるようです。単純な線形回帰では、観測された値と値の間の相関への参照として記号した「サンプル相関係数」というフレーズを通常見ました。これは、私がこの回答に採用した表記です。また、観測されたと適合された間の相関関係を参照するために使用される同じ句と記号も見ました。私の回答では、これを「多重相関係数」と呼び、記号を使用しました。この回答では、決定係数がの2乗との2 乗の両方である理由を説明します $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ なので、どの使用法が意図されているかは問題ではありません。

相関関係との意味についていくつかの簡単な事実たら結果は代数の1行目に次のあなたが箱入り式までスキップすることを好むかもしれので、確立されています。特に、共分散と分散の基本的な特性を証明する必要がないと思います。 $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

共分散が対称であり、ことがわかったら、後者は前者から導出できることに注意してください。ここから、相関についての別の基本的な事実を導き出します。以下のための、および限りと非ゼロの分散を持って、 $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} Cor (a X + b, Y) & = \frac{Cov (a X + b, Y)}{\sqrt{Var (a X + b) Var (Y)}} \\ = \frac{a}{\sqrt{a^{2}}} \times \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}} \\ Cor (a X + b, Y) & = sgn (a) Cor (X, Y) \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

ここで、はsignumまたはsign関数です。その値は、場合および場合です。また場合ですが、その場合は関係ありませんは定数なので、 in分母と相関関係を計算することはできません。対称引数により、この結果を一般化させます： $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ $\text{Var}(aX+b) = 0$ $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

現在の質問に答えるためにこのより一般的な式は必要ありませんが、状況の形状を強調するためにこれを含めます：変数がスケーリングまたは変換されたときに相関は変更されないが、変数が反映。

もう1つ事実が必要です。定数項を含む線形モデルの場合、決定係数は多重相関係数乗です。これは、観測された応答とモデルの近似値間の相関です。これは、重回帰と単純回帰の両方に当てはまりますが、単純な線形モデル注意を向けましょう。結果は、がスケーリングされた、場合によっては反映され、変換されたバージョンであるという観察結果に従います。 $R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

R = Cor (\hat{Y}, Y) = Cor ({\hat{β}}_{0} + {\hat{β}}_{1} X, Y) = sgn ({\hat{β}}_{1}) Cor (X, Y) = sgn ({\hat{β}}_{1}) r

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

したがって、場合、符号は推定勾配の符号と一致し、が負にならないことが保証されます。明らかにです。 $R = \pm r$ $R$ $R^2 = r^2$

二乗和を考慮する必要がないため、前述の議論はより簡単になりました。これを達成するために、私はとの関係を詳細にスキップ、我々は通常、二乗和の観点から考えると、我々はフィットと観測された応答の相関関係について考えているために、。記号は関係トートロジーのように見せますが、そうではなく、モデルに切片項がない場合、関係は壊れます！別の質問から得られたと関係についての幾何学的な議論の簡単なスケッチを示します。ダイアグラムは次元の対象空間に描画されます $R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ なので、各軸（図示せず）は1つの観測単位を表し、変数はベクトルとして表示されます。計画行列の列は、ベクトル（定数項の場合）と説明変数の観測値のベクトルであるため、列空間は2次元フラットです。 $\mathbf{X}$ $\mathbf{1_n}$

重回帰の件名空間のベクトル

当てはめられたは、列空間への観測されたの正射影です。これは、残差のベクトルがフラットに対して垂直であるため、に対して垂直であることを。内積はです。残差の合計がゼロになり、ため、なるため、応答と観測応答の両方がを意味し。図の破線、および $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ 、したがって、観測および適合された応答の中心ベクトルであり、それらの間の角度余弦は、それらの相関です。 $\theta$ $R$

はフラットにあるがはそれに直交しているため、これらのベクトルが残差のベクトルとともに形成する三角形は直角です。ピタゴラスの適用： $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

これは、平方和の分解、です。決定係数の従来の式はで、この三角形ではは確かにの2乗です。式方がおなじみかもしれませんが、すぐにが得られますが、はより一般的であり、（今見たように）減少し $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ 定数項がモデルに含まれている場合。

— シルバーフィッシュ
ソース

素敵な数学とグラフを作成するための努力に+1感謝します!!

— Haitao Du

4

ように定義される二乗サンプル相関係数：は、次を使用して簡単に確認できるため、同等です：（Verbeek、§2.4を参照） $R^2$

R^{2} = \frac{\hat{V} ({\hat{y}}_{i})}{\hat{V} (y_{i})} = \frac{1 / (N - 1) \sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2}}{1 / (N - 1) \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}} = \frac{E S S}{T S S}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

r^{2} (y_{i}, {\hat{y}}_{i}) = \frac{{(\sum_{i = 1}^{N} (y_{i} - \bar{y}) ({\hat{y}}_{i} - \bar{y}))}^{2}}{(\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}) (\sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2})}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} (y_{i}) = \hat{V} ({\hat{y}}_{i}) + \hat{V} (e_{i})

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— セルジオ
ソース

詳細をもう少し追加してください。私はこれを証明しようとしましたが、成功しませんでした...

— 海の老人。