ロジスティック回帰の最尤推定量のバイアス

ロジスティック回帰の最尤推定量（MLE）に関するいくつかの事実を理解したいと思います。

一般に、ロジスティック回帰のMLEが偏っているのは本当ですか？「はい」と言います。たとえば、サンプルの次元はMLEの漸近バイアスに関連していることを知っています。

この現象の基本的な例を知っていますか？
MLEが偏っている場合、MLEの共分散行列が最尤関数のヘッセ行列の逆であることは本当ですか？

編集：私はこの公式にかなり頻繁に出会い、証明はありません。それは私にはかなり恣意的な選択のようです。

— Avitus
ソース

$T$

Pr （ Y_{私} = 1 | T_{私} = 1 ） = Λ （ α + β T_{私} ）

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

ロジット形式では、

\ln （ \frac{Pr （ Y_{私} = 1 | T_{私} = 1 ）}{1 - Pr （ Y_{私} = 1 | T_{私} = 1 ）} ） = α + β T_{私}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

サイズサンプルがあります。示し観測数とそれら、及び。以下の推定された条件付き確率を考慮してください。 $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} （ Y = 1 | T = 1 ） \equiv {\hat{P}}_{1 | 1} = \frac{1}{ん_{1}} \underset{T_{私} = 1}{Σ} y_{私}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} （ Y = 1 | T = 0 ） \equiv {\hat{P}}_{1 | 0} = \frac{1}{ん_{0}} \underset{T_{私} = 0}{Σ} y_{私}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

次に、この非常に基本的なモデルは、MLエスティメータの閉じた形のソリューションを提供します。

\hat{α} = \ln （ \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}} ） 、 \hat{β} = \ln （ \frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}} ） - \ln （ \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}} ）

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

バイアス

がと、対応する確率の公平推定される非線形対数関数は、より複雑なモデルに何が起こるかの方法の-imagineに入ったことから、MLEはは、バイアスされています、非線形性が高い。 $\hat P_{1|1}$ $\hat P_{1|0}$

しかし、漸近的には、確率の推定値に一貫性があるため、バイアスはなくなります。期待値と対数の内部に演算子を直接挿入すると、 $\lim$

\underset{ん \to \infty}{リム} E [\hat{α}] = E [\ln （ \underset{ん \to \infty}{リム} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}} ）] = E [\ln （ \frac{P_{1 | 0}}{1 - P_{1 | 0}} ）] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

同様に。 $\beta$

MLEの
分散共分散行列推定器に閉じた形の式を提供する上記の単純なケースでは、少なくとも原則として、正確な有限標本分布に進み、正確な有限標本分散共分散行列を計算できます。。しかし、一般的に、MLEには閉じた形のソリューションがありません。次に、漸近分散共分散行列の一貫した推定を使用します。これは、実際にはサンプルの対数尤度関数のヘッセ行列の逆（の負）であり、MLEで評価されます。そして、ここには「任意の選択」はまったくありませんが、それは漸近理論とMLEの漸近特性（一貫性と漸近正規性）にし、場合、 $\theta_0 = (\alpha, \beta)$

\sqrt{ん} （ \hat{θ} - θ_{0} ） \to_{d} N （ 0 、 - （ E [H] ）^{- 1} ）

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

ここで、はヘッセ行列です。（大規模な）有限サンプルの場合、これにより、 $H$

Var （ \hat{θ} ） \approx - \frac{1}{ん} （ E [H] ）^{- 1} \approx - \frac{1}{ん} {（ \frac{1}{ん} \hat{H} ）}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— アレコスパパドプロス
ソース