観測されたフィッシャー情報が正確に使用されるのはなぜですか？

17

標準最尤設定（iidサンプル密度）の分布からの）および指定されたモデルの場合、フィッシャー情報は $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

ここでは、データを生成した真の密度に関して予測が行われます。観察されたフィッシャー情報を読んだ

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

（予想される）フィッシャー情報の計算に含まれる積分が場合によっては実行できない可能性があるため、私を混乱させているのは、積分が実行可能であっても、未知のパラメーター値が関係している真のモデルに関して期待をしなければならないことです。その場合は、を知らないを計算することは不可能です。これは本当ですか？ $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
ソース

13

trueパラメータ：あなたはここに4 quanties持っ、一貫性の推定、期待される情報のと観測情報の。これらの数量は漸近的にのみ同等ですが、通常はそれらの使用方法です。 $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

観測情報予想情報に確率に収束
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ 場合からIID試料である。ここでを示し期待W / R / Tによって指標付け分布：。この収束は理由大数の法則を保持しているので、その仮定 $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ 、ここで非常に重要です。 $Y \sim f(\theta_0)$
あなたは推定持っている場合は真のパラメータに確率が収束することを（すなわち、一貫性のある）、あなたはあなたが見るどこでものためにそれを置き換えることができ、本質的に起因する連続写像定理に、上記の、およびすべての収束の保持が継続します。 $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

実際には、少し微妙に見えます。 $^*$

リマーク

推測したように、通常、微分は統合よりも簡単であるため、観察された情報は扱いやすく、数値最適化の過程ですでに評価されている可能性があります。状況によっては（正規分布）同じになります。

Efron and Hinkley（1978）の記事「最尤推定量の精度の評価：観測されたフィッシャー情報と観測されたフィッシャー情報」は、有限サンプルの観測情報を支持して議論を展開しています。

— アンドリュー・M
ソース

4

Efron＆Hinkleyの理論的観察（Andrewの答えで言及されている）を支持するように見えるいくつかのシミュレーション研究がありました。正しいモデル形式が不明な場合のモデルベースの信頼区間のパフォーマンスの比較。疫学、5、171-182。矛盾する研究を見たことはありません。興味深いのは、私が知っている標準のGLMパッケージがWald間隔を計算するために予想される情報を使用していることです。もちろん、これは、（自然パラメーターのGLMのように）観測された情報マトリックスと期待された情報マトリックスが等しい場合には問題になりません。

— サンダーグリーンランド
ソース