回帰でさらに1つの変数を追加するときに、はるかに大きなマグニチュードで符号反転

基本的なセットアップ：

回帰モデル： ここで、Cは制御変数のベクトルです。$y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$

私は興味があり、とが負になることを期待しています。ただし、モデルには多重共線性の問題があり、相関係数は、corr（、 0.9345、corr（、 0.1765、corr（、 0.3019によって与えられます。β 1 β 2 、X 1 、X 2）= X 1 X 3）= X 2 X 3）$\beta$$\beta_1$$\beta_2$$x_1$$x_2)=$$x_1$$x_3)=$$x_2$$x_3)=$

したがって、とは相関が高く、事実上同じ情報を提供する必要があります。3つの回帰を実行します。 x $x_1$$x_2$

1. 変数を除外します。2.変数を除外します。3.と両方を含む元のモデル。x 2 x 1 x $x_1$$x_2$$x_1$$x_2$

結果：
回帰1と2の場合、それぞれと予想される符号を提供します。また、標準エラーでHAC補正を行った後、とは両方のモデルで10％レベルで有意です。は正ですが、両方のモデルで有意ではありません。β 1 β 2 β 1 β $\beta_2$$\beta_1$$\beta_2$$\beta_1$$\beta_3$

ただし、3の場合、には予想される符号がありますが、の符号は正で、絶対値では 2倍の大きさです。また、とはも重要ではありません。さらに、の等級は、回帰1および2と比較してほぼ半分に減少します。β 2 β 1 β 1 β 2 β $\beta_1$$\beta_2$$\beta_1$$\beta_1$$\beta_2$$\beta_3$

私の質問は：

なぜ3では、の符号が正になり、絶対値でよりもはるかに大きくなりますか？が正負符号を反転させ、マグニチュードが大きいという統計的な理由はありますか それとも、膨張モデル1と2を省略苦しむために変数の問題です提供 Yにプラスの効果を持っていますか？ただし、回帰モデル1と2では、回帰モデル3 のと合計効果が正であるため、とはどちらも負ではなく正になります。β 1 β 2 β 3 、X 2 β 2 β 1 、X 1 、X $\beta_2$$\beta_1$$\beta_2$$\beta_3$$x_2$$\beta_2$$\beta_1$$x_1$$x_2$

この例について考えてみます。

人々のポケットのコインに基づいてデータセットを収集します。y変数/応答はコインの合計値、変数x1はコインの合計数、x2は4分の1ではないコインの数（または最大値）一般的なコインのローカルです）。

x1またはx2のいずれかを使用した回帰では正の勾配が得られることは簡単ですが、モデルに両方を含めると、x2の勾配は負になります。大きなコインと小さなコインがあり、全体的な価値が下がっています（y）。

x変数が相関している場合はいつでも同じことが起こります。用語が単独で存在する場合と他の用語が存在する場合とでは、符号が逆になります。

あなたはあなた自身の質問に答えました-共線性があります。

少し説明：とは非常に同一線上にあります。ただし、両方を回帰に入力すると、回帰は他の変数の影響を制御しようとします。つまり、ホールドで何定数の変化に行い。しかし、それらが非常に関連しているという事実は、この質問が愚かであり、奇妙なことが起こり得ることを意味します。x 2 x 1 x 2$x_1$$x_2$$x_1$$x_2$$y$

なぜ3で、β2の符号が正になり、絶対値でβ1よりはるかに大きくなりますか？β2が符号を反転でき、大きさが大きいという統計的な理由はありますか？

簡単な答えは、深い理由はないということです。

それについて考える方法は、マルチコリナリーが完璧に近づくと、フィッティングから最終的に得られる特定の値は、データのますます小さな詳細にますます依存するようになるということです。同じ基になる分布から同じ量のデータをサンプリングして近似すると、完全に異なる近似値を取得できます。