Firth Logistic Regressionの理論的理解を求めて

Firthロジスティック回帰（ロジスティック回帰で完全/完全または準完全な分離を処理する方法）を理解しようとしているので、他の人に簡単に説明できます。FLETHの推定がMLEにどのような変更を加えているかについて、だれかが軽duした説明を持っていますか？

Firth（1993）を読みましたが、スコア関数に修正が適用されていることを理解しています。私は、補正の起源と正当化、およびスコア関数がMLEで果たす役割についてあいまいです。

これが初歩的な知識であれば申し訳ありません。私がレビューした文献は、私が持っているよりもはるかに深いMLEの理解を必要とするようです。

logistic maximum-likelihood separation

— ESmith5988
ソース

Firthの修正は、Jeffreyの事前分布を指定し、事後分布のモードを求めることと同等です。おおよそ、回帰パラメーターの真の値がゼロに等しいと仮定して、データセットに観測値の半分を追加します。

Firthの論文は、高次漸近の例です。ヌル順序、そう言うことは、大数の法則によって提供される大きなサンプルにおいて真値です。おおよそ、MLEはiid変数（スコア）の合計の非線形変換に基づいているため、漸近的に正常であることを学んだかもしれません。これは、一次近似である： $\hat \theta_n \approx \theta_0$ $\theta_0$ と正常変量ゼロ平均および分散（又はVAR-COVマトリックス）は、単一の観察フィッシャー情報の逆数です。尤度比検定統計量は漸近その後でまたは任意の内積と逆共分散行列の多変量拡張があろう。 $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— StasK
ソース

理解不足で申し訳ありませんが、完全にはフォローしていません。「大まかに言うと、回帰パラメーターの真の値がゼロに等しいと仮定して、データセットに観測値の半分を追加します。」回帰パラメータの真の値がゼロに等しいと仮定するのはなぜですか？また、データセットに観測値の半分を追加する方法は？

— ESmith5988 14年

あなたの説明の残りから、尤度関数は、小さなサンプルの正のバイアスを減らす固定量によって調整されているようです。固定量は、事実上、サンプルサイズが増加するにつれてゼロになる情報の関数です。

— ESmith5988 14年

最初のコメントについて-ファース補正は、おおよそ1/2の有効な重みを持つ観測によって追加される尤度への寄与の期待値です。これは決して正しい説明ではなく、なぜあなたがこれをしたいのかについての直観です。それはあなたに風味を与えるだけです。係数をゼロに設定するのは、数値がどうなるかよくわからないためです（ゼロ係数は、ほとんどの場合意味のあるリグレッサの効果にうまく対応しません）。2番目のコメントについて-正しい。

— StasK 14年