ロジスティック回帰の省略された変数バイアスと通常の最小二乗回帰の省略された変数バイアス

ロジスティック回帰および線形回帰の省略された変数バイアスについて質問があります。

線形回帰モデルからいくつかの変数を省略したとします。これらの省略された変数は、モデルに含めた変数と無相関であると仮定します。これらの省略された変数は、私のモデルの係数にバイアスをかけません。

しかし、ロジスティック回帰では、これは真実ではないことがわかりました。省略された変数が含まれた変数と無相関であっても、省略された変数は含まれた変数の係数にバイアスをかけます。私はこのトピックに関する論文を見つけましたが、それについて頭や尾を作ることはできません。

これが論文とパワーポイントのスライドです。

バイアスは、明らかにゼロに向かっています。誰もこれがどのように機能するか説明できますか？

「減衰バイアス」のケースは、「プロビット」モデルを調べるとより明確に提示できますが、結果はロジスティック回帰にも引き継がれます。

条件付き確率モデル（ロジスティック（ロジット）、「プロビット」、および「線形確率」モデル）の下で、潜在的な（観測不可能な）線形回帰モデルを仮定できます。

$$y^* = X\beta + u$$

ここで、は観測不能な連続変数です（はリグレッサー行列です）。エラー項は、リグレッサから独立しており、ゼロを中心に対称な密度を持つ分布に従うと想定されています。この場合、標準正規分布 です。$y^*$$X$$F_U(u)= \Phi(u)$

観測するもの、すなわちバイナリ変数は、観測不可能なインジケータ関数であると。$y$$y^*$

$$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$$

次に、「回帰子が与えられたときにが値をとる確率はどれくらいですか？」（つまり、条件付き確率を見ています）。これは$y$$1$

$$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$$

標準の累積分布関数の「反射」特性による最後の等式。これは、ゼロ付近の密度関数の対称性に由来します。はから独立していると仮定しましたが、量を非ランダムとして扱うために条件付けが必要であることに注意してください。$u$$X$$X$$X\beta$

と仮定すると、理論モデルが得られます$X\beta = b_0+b_1X_1 + b_2X_2$

$$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$$

ここで、をから独立させ、基になる回帰の仕様から誤って除外します。だから指定する$X_2$$X_1$

$$y^* = b_0+b_1X_1 + \epsilon$$ さらに、も通常のランダム変数ます。しかし、これはつまり$X_2$$X_2 \sim N(\mu_2,\sigma_2^2)$

$$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$$

正規分布の追加中の閉包のため（および独立性の仮定）。前と同じロジックを適用すると、ここにあります

$$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$$

持っている変数を標準化する$\epsilon$

$$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$$

$$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$$

モデルとを比較できます。$(1)$$(2)$

理論式上記、を教えてくれる場所の私達の最尤推定量それがないという意味では、一貫性の推定残存するため、収束に起こっている、それは理論本当にモデルに存在する量に収束する（そしてもちろん、ありませんでどんな場合でも「真実」を見つけるという意味）：$b_1$

$$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$$

これは「ゼロへのバイアス」結果です。

ロビット（ロジスティック回帰）ではなく、プロビットモデルを使用しました。これは、正規性の下でのみ分布を導出できるためです。ロジスティック分布は追加中は閉じられません。これは、ロジスティック回帰で関連する変数を省略した場合、エラー項（現在は省略された変数を含む）がロジスティック分布に従わなくなるため、分布の誤指定も作成することを意味します。しかし、これはバイアス結果を変更しません（OPによってリンクされた論文の脚注6を参照）。$\epsilon$