条件付き平均独立性は、OLS推定量の不偏性と一貫性を意味します

次の重回帰モデルについて考えてみます

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

ここで、は列のベクトルです。行列。 a列のベクトル; マトリックス。列ベクトル。そして、誤差項、列ベクトル。 $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

質問

私の講師、教科書「計量経済学入門」第3版。 James H. StockおよびMark W. Watson著、p。281、および計量経済学：名誉の試験レビューセッション（PDF）、p。7、私に次のように表現しています。

いわゆる条件付き平均独立性を仮定すると、これは定義上、意味し $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
条件付き平均ゼロの仮定以外の最小二乗仮定が満たされる場合（したがって、と仮定し）（1を参照） -3以下）、 $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
次に、OLS推定量のにおける公正なままであるとの仮定のこの弱いセットの下で、一貫。 $\hat{\beta}$ $\beta$ $(1)$

この命題をどのように証明しますか？上記1及び2は、OLSの推定値があることを意味していること、すなわち、私たちのために公平かつ一貫性のある推定量与え？この命題を証明する研究記事はありますか？ $\beta$ $\beta$

最も単純なケースは、線形回帰モデルを考慮することによって与えられるおよびOLSを見積もることを証明のを各について場合、は不偏です。

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

仮定すると、不偏性の証明と JOINTLY正規分布しています $U_i$ $Z_i$

定義し、次におよび定義ししたがって、はとして書き換えられによって、ここで、とは一緒に正規分布しているため、正規分布の理論については、多変量正規分布の条件付き分布を導出する、と言うこと（実際に、私たちは共同正常にのみ、このアイデンティティを想定する必要はありません）いくつかのためにによってベクトル $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ 。

これではモデル、最小二乗法のすべての仮定が満たされます。これは、誤差項が条件式の仮定を満たすためです。ゼロを意味します。これは、OLSは見積もることを意味の我々はせた場合のために、公平であろう、およびletすることによってからなる行列及びは、OLSは、の推定における、以下を考慮することによって与えられます。 $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

したがって、 2行目に続きます。したがって、は、条件付きで偏りのない推定ですは、モデル与えられたOLS推定値がモデル与えられたものと一致するためです。今、総期待の法則によってしたがってための不偏推定量である。

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

（であるため、の係数は必ずしも不偏ではないことに注意してください。） $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

ただし、上記の特殊なケースでは、とが一緒に正規分布していると想定していますが、この想定なしに命題を証明するにはどうすればよいですか？ $U_i$ $Z_i$

もちろん、で常に十分であると仮定し参照）、と条件付き平均ゼロ仮定を除く最小二乗仮定（下記参照）。 $E(U|Z)=Z\gamma$ $(**)$ $(2)$

一貫性について

私は1つも推定することを見ることができると思うために一貫している回帰モデル内のその注目しての仮定を含め、すべての最小二乗仮定満たされていること（新規）誤差項満たします条件付き平均ゼロの仮定（cf.と下記参照）。 $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

計量経済学入門第3版の一連の演習に基づく一貫性の証明を後で追加する場合があります。ジェームズH.ストックとマークW.ワトソン、ch。18.しかし、この証明はかなり長いです。しかし、ここでのポイントは、演習で提供される証明が前提としているため、前提本当に十分であるかどうか、私はまだ疑問に思っています。 $(**)$ $(2)$

サブクエリ1

で計量経済学入門、第3版。James H. StockとMark W. Watsonによると、p。300、仮定は非線形回帰の理論を使用して「緩和」できること。これはどういう意味ですか？ $(**)$

最小二乗法の仮定

ここで証明しようとする命題は場合を許容するため、ここではの条件付き平均ゼロ仮定を除外します。これらは、例えばがと相関している場合です。Cf. Econometrics：Honor's Exam Review Session（PDF）、p。7。 $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

最小二乗の仮定は次のとおりです。

の結合分布、はiidです。ここで、は番目の要素で、とは番目の行ベクトルです。そして。 $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
大きな外れ値は起こりそうにありません。つまり、各、およびは有限の4次モーメントがあり、は：番目の要素です。 $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ は完全な列ランクがあります（つまり、完全な多重共線性はありません。これにより、可逆性が保証されます）。 $W^TW$
（拡張最小二乗法の仮定：これは必要ではないと私は思っています（そして、それが必要ではないと私は言われています）、ホモスケダスティクス、つまり各、および与えられたの条件付き分布は各に対して正規です（つまり、通常のエラーがあります）。 $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

用語に関する注記

、条件付き平均ゼロの仮定があるという仮定である。ただし、条件付き平均独立性の仮定は、あるという仮定です。 $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

この用語は、例えば、計量経済学入門第3版で使用されています。James H. StockおよびMark W. Watson著、p。281; および断面とパネルデータの計量経済分析、第1版。Jeffrey M. Wooldridge著、p。607. 同様の議論については、条件付き独立性制限：テストと推定も参照してください。

追加の考えとサブクエリ2

James H. StockとMark W. Watsonとは対照的に、条件付き平均独立性は公平なOLS推定を保証しないと思います。これは、ような非線形の形態をとることができる多項式である、又はここで、はまだ推定されていないパラメーターです（ここでは、行列指数を使用しています）。次に、非線形回帰を適用する必要があると思います。また、（1）ののOLS推定は、 OLS推定と一致しない場合もあります。 $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ 場合一定の非線形の形態をとります。（心理的には、ストック＆ワトソンの本での発言はあまりにも良すぎて本当だとは思えません。） $(4)$ $E(U|Z)$

したがって、追加の質問は、条件付き平均独立性が公平なOLS推定につながるという命題に対する反例があるかどうかです。

サブクエリ3

ではほとんど無害計量経済学 Angrist＆Pischkeサブセクション3.3、Pに主張しています。68--91、条件付き独立性（CI）の下で、つまりが与えられたから独立している（これは、上記の条件付き平均独立性の仮定よりも強い条件だと思います）。効果にとに係数の回帰で上の及び CI下OLSは上係数の推定値こと動機に $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ CIが成り立たない場合（他のすべてが等しい場合）よりもバイアスが少ない。

さて、このアイデアをどうにかしてここで私の主な質問に答えることができますか？

— エリアス
ソース

@西安どういう意味ですか？それが私の教科書で与えられた条件付き平均独立性の定義です。線形回帰がを持っているとすると、条件付きの平均独立性があります。私の書き方はもっと一般的だと思っただけです。

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— エリアス

@ Xi'anこの場合、「条件付き独立$ ce」をどのように定義しますか？そういえば、「条件付き自立」は「条件付き自立」とは別の概念です。それらは概念的にリンクされている場合とされていない場合があります。

— エリアス

@ Xi'anこれは私が概念を理解する方法です：条件付き独立性はですが、条件付き平均独立性は。

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— エリアス

西安のコメントはどこにありますか？

— Michael

@MichaelChernick彼のコメントは最初のものでした。彼はそれを削除したに違いない。私が覚えているように、は条件付きの独立性を意味しないと彼は言ったので私は答えた。

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— エリアス

回答:

それは誤りです。ご覧のように、ストックとワトソンを注意深く読んでも、OLSが条件付き平均独立性の下でに対して不偏であるという主張を実際には支持していません。場合、OLSはに対してバイアスがないというはるかに弱い主張を支持しています。次に、非線形最小二乗法について漠然と言っています。 $\beta$ $\beta$ $E(u|x,z)=z\gamma$

方程式（4）には、主張が偽であることを確認するために必要なものが含まれています。変数を省略してOLSで方程式（4）を推定すると変数バイアスが省略されます。おそらく覚えていると思いますが、省略された変数のバイアス項（省略された変数の係数が1の場合）は、次の補助回帰の係数によって制御されます。の元の回帰におけるバイアスであるこの回帰から、そして上のバイアスである。場合と相関しているを制御した後、直線的にするために $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ 場合、はゼロではなく、OLS係数はバイアスされます。

α_{1}

$\alpha_1$

これがポイントを証明する例です：

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

以下のための式を見て、あることは明らかである補助回帰を見て、それは明らかですそれ（偶然の選択がない場合）はゼロになりません。 $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

ここにRポイントを示す非常に簡単な例があります：

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

最初の回帰はあなたの係数与えることに注意してくださいという事実反映し、0.63に巻き付勢され、「いくつか持っている行うように、その中に」。また、補助回帰により約0.63のバイアス推定が得られることにも注意してください。 $x$ $x$ $z^2$ $E(u|z)$

それで、ストックとワトソン（そしてあなたの講師）は何について話しているのですか？方程式（4）に戻りましょう：

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

それは省略変数であることが重要事実だだけの機能。がと相関している場合でも、適切に制御できれば、回帰からバイアスを取り除くのに十分です。 $z$ $z$ $x$ $u$

ノンパラメトリック法を使用して関数を推定するか、正しい関数形式を使用して、以下の方程式を推定したとします。正しい関数形式を使用している場合は、非線形最小二乗法（NLSに関する不可解なコメントの説明）で推定し。省略された変数の問題がなくなるため、一貫した推定量が得られます。 $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

あるいは、十分なデータがあれば、制御を「完全に」行うことができます。我々は、データのサブセットを見ることができ、及びだけ回帰を実行するには：これがため、公正な、一貫性の推定を与えるを除きもちろん、切片はによって汚染されます。明らかに、データポイントに対してのみ回帰を実行することにより、（異なる）一貫した公平な推定量を取得することもできます。そして、である点のためのもう一つ。次に、いくつかの良い推定量が得られます。たとえば、なんとかしてすべてを平均化することで、優れた推定量を作成できます。 $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

この後者の考えは、マッチング推定器のインスピレーションです。我々は通常、文字通りだけのための回帰を実行するための十分なデータがありませんので、あるいはポイントのペアのために同じである、我々は代わりにポイントの回帰を実行し、同一であることに``近い十分な「」です。 $z=1$ $z$ $z$

— ビル
ソース

この結果は一般的な説明では真実ではないため、証明することはできません。式のモデルから始めます。 $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

ここで、大きな括弧は実際のエラー項を示します（条件付きの期待についてはまだ想定されていません）。残差メーカーまたは消滅行列を。これは対称で等であり、も持ってい。 $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

「パーティショニングされた回帰結果」により、

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

右側の最初の項はすでにゼロです。全体を通して期待値を取り、タワープロパティを条件付き期待値に適用すると、3番目の項もゼロになります（より弱い形式の条件付き平均独立性を使用）。しかし、これはこの弱い仮定が私たちにかかる範囲です。

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

公平性のために、右側をゼロにしてください。場合、これは保持しますの線形関数である、我々は再びゼロ取得するので、（あなたも見られるような）。しかし、それ以外の場合、期待値全体がゼロであると直接仮定することは完全に恣意的です。共同正規性を仮定する必要はありませんが、この条件付き期待値の線形性を仮定する必要があります（他の分布にもこの特性があります）。したがって、公平性に必要な仮定は $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

すべてのリグレッサの厳密な外因性と比較して、それが本当に「弱い」かどうかは言えません（厳密な外因性は、すべての分布の仮定の平均独立性の観点から述べられているため、ここでは、と続きます）。 $U$ $Z$

この線形性の仮定の下でも一貫していることを示すことは難しくありません。 $\hat \beta_{OLS}$

— アレコスパパドプロス
ソース

いい答え！私はこれをずっと前に読んで、後で考えようと思いました。いくつか質問があります：分割された回帰結果をどのように証明できますか？少なくとも参考にしていただければ幸いです。また、と違いは何ですか？

M_{Z}

$M_Z$

M_{z}

$M_z$

— エリアス

@Monirとはタイプミスだけです-修正されました。パーティション化された回帰結果（非常に古く、標準的なもの）については、たとえば、グリーンによる計量経済学のテキストを参照してください。この章では、通常の最小二乗推定の代数的側面について説明しています。証明が含まれています。

Z

$Z$

z

$z$

— Alecos Papadopoulos 2017