余分な変数を調整すると、OLSの推定にバイアスがかかりますか？

OLSの余分な変数を調整するための通常の教科書の扱いでは、推定量はまだ偏っていませんが、分散が大きい可能性があります（たとえば、Greene、Econometric Analysis、第7版、58ページを参照）。

先日、Judea Pearlによるシンプソンのパラドックスの扱いと、「制御変数を回帰モデルに段階的に含めることで、すべてのステップで推定因果関係の兆候が切り替わる」ことをシミュレートする素晴らしいWebページを偶然見つけました。私にとって、これは上記のステートメントとはどういうわけか矛盾しています。これは非常に微妙な（非常に重要ですが）問題になる可能性があるので、他の文献へのポインタがあれば非常に役立ちます。特に私を驚かせるものは、グリーンが彼の評価の証拠を持っていると主張していることです。

— ジュリアン・シュースラー
ソース

回答:

矛盾はありません。

そこでの最初の段落は、余分な変数について話します。

シンプソンのパラドックスが当てはまる場合、変数は不要ではありません。

— Glen_b-モニカの復活
ソース

ウェブサイトで提起されている問題では、Z1とZ2を調整すると、推定値に偏りが生じます。Z1は実際には不要ではないようですが、Z2はどうですか？構造上、XとYのどちらにも影響しませんが、それを含めると推定にバイアスがかかります。

— Julian Schuessler、2014年

これらの変数間の正確な関係に応じて、他の独立変数の1つと非常に高い相関を持つ余分な変数は、符号の反転につながる可能性があります。これは、多重共線性に関する部分のGreeneブックでも説明されています。高レベルの多重共線性は、特異点に近いため、不安定で信頼性の低い係数につながる可能性があると彼は述べています。

— アンディ

以前のコメントは@JulianSchuesslerの方が多かったことを述べておきます。Glen_bの答え+1

— Andy

Z2はXまたはYを引き起こしませんが、監視されていない変数Uを介してXに、およびZ3を介してYに

接続されます。したがって、XとYの両方と相関しています。「過剰」を「独立」として定義した場合、グリーンは正しいです。XとYに依存しない変数Zの条件付けは、推定にバイアスをかけません（独立が「不誠実」な場合を除いて）因果関係に）。多重共線性は別の問題だと思います。「コライダー」変数の条件付けによるバイアスは、変数間の非常に高い依存性を必要とせず、推定の分散を拡大しません。

d

$d$

— リジーシルバー

@LizzieSilver：おかげで、これは私の現在の理解でもあり、Pearlの作業をさらに詳しく見てきました。適切なリグレッサを含めることですべてのバックドアパスをブロックすると、公平な見積もりが得られます。ただし、XとYの両方と相関している可能性のある誤った変数を調整すると、対象の変数の因果効果の推定値が偏ることがパールの研究から明らかです。だから私はいつもの公平さの証明をどうするのだろう。間違った回帰は偏りがないかもしれませんが、その中の係数は因果効果ではなく、他の何かと等しいですか？

— Julian Schuessler、2015年

想定される線形回帰モデルを検討する

y_{私} = b_{0} + b_{1} {バツ}_{1 私} + b_{2} {バツ}_{2 私} + {あなた}_{私} 、 私 = 1 、 。 。 。 、 ん

$y_i = b_0 + b_1X_{1i} + b_2X_{2i} + u_i,\;\; i=1,...,n$

代数の問題として（確率論的な仮定ではありません）、行列表記のOLS推定量は

\hat{b} = b + {（ {バツ}^{』} バツ ）}^{- 1} {バツ}^{』} あなた

$\hat b = b + \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf u$

したがって、リグレッサマトリックスを条件とする期待値は、

E （ \hat{b} | バツ ） = b + {（ {バツ}^{』} バツ ）}^{- 1} {バツ}^{』} E （ あなた | バツ ）

$E\left(\hat b\mid \mathbf X\right) = b + \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'E\left(\mathbf u\mid\mathbf X \right)$

$E\left(\mathbf u\mid\mathbf X \right)=\mathbf 0$

E （ \hat{b} | バツ ） = b + 0 \Rightarrow E （ \hat{b} ） = b

$E\left(\hat b\mid \mathbf X\right) = b + \mathbf 0 \Rightarrow E(\hat b) = b$

繰り返し期待の法則も使用します。

$X_2$

$X_2$ $y$ $X_1$ $X_2$

— アレコスパパドプロス
ソース