多変数回帰にさらに変数を追加すると、既存の変数の係数が変わりますか？

16

3変数で構成される多変数（複数の独立変数）回帰があるとします。これらの各変数には、所定の係数があります。4番目の変数を導入して回帰を再実行することにした場合、3つの元の変数の係数は変わりますか？

より広く：多変数（複数の独立変数）回帰では、特定の変数の係数は別の変数の係数の影響を受けますか？

regression multiple-regression multivariable

— ルーカス・プレヴァ
ソース

1

質問をより正確に編集してください。行いmultivariableます複数の独立変数（「重回帰」）または複数の従属変数（「多変量回帰」または「MAN（C）OVA」）を意味ですか？

— ttnphns

1

答えがいいえの場合、そもそも多変数回帰を行う必要はありません！（単純に多くの単変数を行うことができます）

— user603

1

@ user603という洞察力のあるポイントですが、他の変数が応答に有意に関連していれば（説明変数ではないが）、残差分散を減らして改善につながる可能性があるため、重回帰の場所があると思いますパワーと精度。

— GUNG -復活モニカ

23

回帰モデル（例えば内のパラメータ推定値変数、場合）に変更します、あるモデルに追加されます。 $\hat\beta_i$ $X_j$

そのパラメーターの対応する変数（モデルに既に存在していた）と相関している $X_i$
応答変数と相関 $Y$

上記のいずれかが相関していない場合、新しい変数が追加されても推定ベータは変更されません。それらが母集団で無相関であるかどうか（すなわち、、または）は無関係であることに注意してください。重要なのは、両方のサンプル相関が正確にです。変数が設計により相関しないように操作された実験データで作業している場合を除き、これは実際には基本的には決して起こりません。 $\rho_{(X_i, X_j)}=0$ $\rho_{(X_j, Y)}=0$ $0$

また、パラメーターの変化量はそれほど意味がないかもしれません（少なくとも部分的には理論に依存します）。さらに、それらが変更できる量は、上記の2つの相関の大きさの関数です。

別の注意として、この現象を「特定の変数の係数が別の変数の係数の影響を受けている」と考えるのは実際には正しくありません。互いに影響を与えているのはベータ版ではありません。この現象は、統計ソフトウェアが勾配パラメーターを推定するために使用するアルゴリズムの自然な結果です。がと両方によって引き起こされ、それらが互いに相関している状況を想像してください。のみがモデル内にある場合、起因するの変動の一部は、不適切に起因します。 $Y$ $X_i$ $X_j$ $X_i$ $Y$ $X_j$ $X_i$ ます。これは、がバイアスされるます。これは、省略された変数biasと呼ばれます。 $X_i$

— gung-モニカの復職
ソース

その最後の文章で非常に良い点を指摘します。

— Glen_b-モニカを復活

私はここに私の答えでは、この問題のフリップサイドを議論：推定

の代わりに、

b_{1} x_{1} + b_{2} x_{2}

$b_1x_1+b_2x_2$

b_{1} x_{1} + b_{2} x_{2} + b_{3} x_{3}

$b_1x_1+b_2x_2+b_3x_3$ 。

— GUNG -復活モニカ

y

$y$

x 2

$x2$

x 1

$x1$

y

$y$

x 1

$x1$

x 1

$x1$

y

$y$

Y

$Y$

1

s_{1}

$s_1$

@gungは返信してくれてありがとう。そのような完璧なデータを作成する方法を知っていますか？実生活では起こりえないことを知っている

— フロイド

3

係数が変化しないことは数学的には可能ですが、すべての独立変数が互いに独立していても、実際のデータにまったく変化がないことはほとんどありません。しかし、これが当てはまる場合、（インターセプト以外の）変更は0になる傾向があります。

set.seed(129231)
x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)
x4 <- rnorm(100)
y <- x1 + x2 + x3 + x4 + rnorm(100, 0, .2)
lm1 <- lm(y~x1+x2+x3)
coef(lm1)
lm2 <- lm(y~x1+x2+x3+x4)
coef(lm2)

しかし、現実の世界では、独立変数はしばしば互いに関連しています。この場合、方程式に4番目の変数を追加すると、他の係数が変更される場合があります。

次に、可能な相互作用があります....しかし、それは別の質問です。

— ピーター・フロム-モニカの復職
ソース

1

一般的に、はい、変数を追加すると、ほとんどの場合、以前の係数が変更されます。

実際、これは本質的にシンプソンのパラドックスの原因であり、共変量が省略されているために係数が逆符号でさえ変化する可能性があります。

それが起こらないようにするには、新しい変数が以前の変数と直交している必要があります。これは、計画された実験でよく起こりますが、独立変数のパターンが計画されていないデータでは起こりそうにありません。

— Glen_b -Reinstate Monica
ソース