単純回帰と重回帰の関係

10

OLS回帰のに関する非常に基本的な質問 $R^2$

OLS回帰y〜x1を実行します、たとえば0.3です。 $R^2$
OLS回帰y〜x2を実行します。別の、たとえば0.4です。 $R^2$
ここで、回帰y〜x1 + x2を実行します。この回帰のR二乗はどのような値になりますか？

重回帰のが0.4以上であることは明らかだと思いますが、0.7を超えることは可能ですか？ $R^2$

— オリビエ・マー
ソース

2

ヒント：1.0になることもあります。どうして？（幾何学的に考えてください。または、具体的には単位円についてです。）

— 枢機卿

stats.stackexchange.com/questions/351200/...

— StubbornAtom

4

2番目のリグレッサは、最初のリグレッサが従属変数で説明できなかったものを単純に補うことができます。数値の例を次に示します。

x1サンプルサイズ20の標準的な通常のリグレッサーとして生成します。一般性を失うことなく、取ります。ここで、もです。ここで、2番目のリグレッサを、従属変数と最初のリグレッサの間の単なる違いとして考えます。 $y_i=0.5x_{1i}+u_i$ $u_i$ $N(0,1)$ x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

— クリストフ・ハンク
ソース

ありがとう！rの2乗を誤って理解していた。私があればと思っていないx1 + x2 = y、その後はsummary(lm(y~x1))$r.squared + summary(lm(y~x2))$r.squared何の1未満でなければなりませんが、明らかに私は間違っている...

— オリヴィエ・マ

3

どの変数が最初にモデルに入るかに応じて0.3または0.4の下限以外は、あまり言えることはありません。どのくらいの、主に第二の可変をモデルにもたらしている情報に依存して上昇します。情報によると、もちろん、説明された応答の変動を意味します。 $R^2$

その点で重要な概念が1つあります。それは予測子間の相関です。相関が大きい場合、新しい変数はモデルに何ももたらさないだけでなく、推定が不正確になる（多重共線性）ため、既存の変数の推論も複雑にします。これが、新しい変数が他の変数と直交するのが理想的な理由です。観察研究でこれが発生する可能性はわずかですが、独自の実験を構築する場合など、制御された設定で実現できます。

しかし、変数がモデルにもたらす新しい情報をどのように正確に定量化しますか？これらすべてを考慮に入れる1つの広く使用されている測度は、部分的な $R^2$ です。線形モデルのANOVAに精通している場合、これは、この変数をモデルに含めることで達成できる誤差の二乗和の比例的な減少に過ぎません。高いパーセンテージが望ましい一方で、低いパーセンテージはおそらくこれが正しい行動方針であるかどうかを考えさせるでしょう。

@cardinalがコメントで指摘したように、新しい決定係数は1と同じくらい高くなる可能性があります。0.400001と同じくらい低くなることもあります。追加の情報なしで伝える方法はありません。

— ジョンK
ソース

@JohnK、なぜそれを0.4より厳密に大きくする必要があるのか、さらに説明してもらえますか？回帰の幾何学的解釈はここで役立ちますか？

— Dnaiel 2017年

@Dnaiel決定係数は、モデル内の変数の数に関して減少しません。

— JohnK 2017年

3

多重線形回帰における決定係数：多重線形回帰では、決定係数は、二次形式を使用して変数のペアワイズ相関の観点から記述できます。

R^{2} = r_{y, x}^{T} r_{x, x}^{- 1} r_{y, x},

$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$

ここで、は、応答ベクトルと各説明ベクトル間の相関のベクトルであり、は、説明ベクトル間の相関行列です（これについて詳しくは、この関連質問を参照してください）。二変量回帰の場合、次のようになります。 $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

\begin{aligned} R^{2} & = {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} {[\begin{matrix} 1 & r_{X_{1}, X_{2}} \\ r_{X_{1}, X_{2}} & 1 \end{matrix}]}^{- 1} [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} {[\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}]}^{T} [\begin{matrix} 1 & - r_{X_{1}, X_{2}} \\ - r_{X_{1}, X_{2}} & 1 \end{matrix}] [\begin{matrix} r_{Y, X_{1}} \\ r_{Y, X_{2}} \end{matrix}] \\ = \frac{1}{1 - r_{X_{1}, X_{2}}^{2}} (r_{Y, X_{1}}^{2} + r_{Y, X_{2}}^{2} - 2 r_{X_{1}, X_{2}} r_{Y, X_{1}} r_{Y, X_{2}}) . \end{aligned}

$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$

質問では一変量相関の方向を指定しなかったため、一般性を失うことなく、。値をと置き換えると、次のようになります。 $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$ $r_{Y,X_1}^2 = 0.3$ $r_{Y,X_2}^2 = 0.4$

R^{2} = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_{1}, X_{2}}}{1 - r_{X_{1}, X_{2}}^{2}} .

$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$

可能性があります。これは、2つの変数からの結合された情報がその部分の合計を超える可能性があるためです。この興味深い現象は「エンハンスメント」と呼ばれます（たとえば、Lewis and Escobar 1986を参照）。 $R^2 > 0.7$

— ベン-モニカの復活
ソース