複数の

線形回帰では、モデルを当てはめると楽しい結果に出会いました

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

次に、、およびデータを標準化して中央すると、 $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

これは、回帰の 2変数バージョンのように感じます。 $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

しかし、私が知っている唯一の証拠は、いずれにせよ建設的または洞察に富んでいない（下記を参照）ものですが、それを見ると、すぐに理解できるはずです。

考えの例：

およびのパラメータは、私たちの「割合」与えるおよびで、我々は彼らの相関のそれぞれの割合を取っているので、と... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
sは部分相関であり、二乗複数の相関である...相関は部分相関を乗じ... $\beta$ $R^2$
最初に直交化すると、は ...になります。この結果は幾何学的に意味がありますか？ $\beta$ $\mathrm{Cov}/\mathrm{Var}$

これらのスレッドのどれも私にとってどこにも通じないようです。誰もがこの結果を理解する方法の明確な説明を提供できますか？

不満足な証拠

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

そして

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED。

— コロネ
ソース

標準化された変数を使用する必要があります。そうしないと、

式が

と

間にあることが保証されません。この仮定は証明で明らかになりますが、最初にそれを明示的にすることは役立ちます。あなた：私はあなたが本当にあまりにも、何をしているかの上に困惑しています

明確にする機能であるモデルデータとは何の関係も持たない- -だけではまだあなたは「フィット」何かにモデルがあることを言及するから始めます。

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

X1とX2が完全に無相関である場合にのみ、上位の結果が保持されませんか？

— ガン-モニカを元に戻す

@gung私はそうは思いません-下の証明はそれが何に関係なく機能すると言っているようです。この結果も私を驚かせており、「明確な理解の証拠」を求めている

— Korone、

@whuber「モデルのみの機能」とはどういう意味かわかりませんか？2つの予測変数を持つ単純なOLSの

を単に意味します。つまり、これは

の2変数バージョンです

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— コロネ14年

私はあなたのかどうかわかりません

パラメータまたは推定値です。

β_{i}

$\beta_i$

— whuber

回答:

ハットマトリックスはべき等です。

（これは、OLSが変数が張られた空間への応答ベクトルの正射影であることを示す線形代数的な方法です。）

そのことを思い出してください

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

どこ

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

（中央の）予測値の二乗の合計であり、

T S S = Y^{'} Y

$TSS = Y^\prime Y$

$Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

また、推定された係数は

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

どこからでも

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

$H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

したがって

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

$\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
ソース

（+1）非常に良い記事。しかし、なぜどこでも^{-}代わりに^{-1}？

— amoeba

X^{'} X

$X^\prime X$

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

興味深く説得力のある動機ですが、この表記が他の場所で時々使用されているものか、それともあなた自身の発明なのでしょうか。

— amoeba 2014年

@amoeba：はい、この表記は、線形モデルのグレイビルによる古典的なテキストを含め、他の場所に表示されます。

— 2014年

次の3つの式はよく知られており、線形回帰に関する多くの本に記載されています。それらを導出することは難しくありません。

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

$Y$ $X_1$ $X_2$

ここに画像の説明を入力してください

$\hat{Y}$ $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

$\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

$r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

$R^2 = r_1 \beta_1 + r_2 \beta_2$

$|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

ここに画像の説明を入力してください

$\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

$r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

これと同じことは、任意の数の予測子Xに当てはまります。残念ながら、多くの予測子を使って同じような絵を描くことは不可能です。

— ttnphns
ソース

+1がこのように構成されているのを見るのもいいですが、これはwhuberの答え

— Korone

@Corone、私はあなたが取るかもしれないいくつかの「洞察」を追加しました。

— ttnphns 2014年

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

本当にクールな編集、受け入れられた切り替え。

— Korone