フィッシャー情報行列とヘッセ行列誤差および標準誤差との関係に関する基本的な質問

54

わかりました、これは非常に基本的な質問ですが、私は少し混乱しています。私の論文では、次のように書いています。

（観測された）フィッシャー情報行列の対角要素の平方根の逆数を計算することにより、標準誤差を見つけることができます。

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ Rの最適化コマンドは最小化するため、（観測された）フィッシャー情報行列は、ヘッセ行列の逆数を計算することで見つけることができます：

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

私の主な質問：これは私が言っていることは正しいですか？

7ページのこのソースでは次のように書かれているため、少し混乱しています。

情報行列は、ヘッセ行列の期待値の負です

（したがって、ヘッセ行列の逆行列はありません。）

一方、このソースの 7ページ（脚注5）には次のように記載されています。

観測されたフィッシャー情報は等しくなります。 $(-H)^{-1}$

（だからここは逆です。）

私はマイナス記号とそれをいつ使用するか、そしていつ使用しないかを知っていますが、なぜ逆符号をとるかどうかで違いがありますか？

maximum-likelihood fisher-information

— ジェン・ボーホールド
ソース

@COOLSerdashあなたの修正と+1に感謝しますが、このソース：unc.edu/~monogan/computing/r/MLE_in_R.pdf 7ページでは、観測されたフィッシャー情報はヘッセ行列の逆数に等しいと明確に述べていますか？

— ジェンボホールド

@COOLSerdash OK、これを回答として投稿することもできます。

— ジェンボーホールド

75

Yudi Pawitanは著書In All Likelihoodで、最尤推定値（MLE）で評価された対数尤度の2次導関数は観測されたフィッシャー情報であると書いています（この文書、2ページも参照）。これは、ほとんどの最適化アルゴリズムoptimがR見返りとして好むものであり、ヘッセ行列はMLEで評価されました。負のとき対数尤度が最小化され、負のヘッセ行列が返されます。正しく指摘すると、MLEの推定標準誤差は、観測されたフィッシャー情報行列の逆行列の対角要素の平方根です。言い換えると、ヘッセ行列の逆数（または負のヘッセ行列）の対角要素の平方根は、推定標準誤差です。

概要

MLEで評価された負のヘッセ行列は、MLEで評価された観測されたフィッシャー情報行列と同じです。
あなたの主な質問に関して：いいえ、観察されたフィッシャー情報が（負の）ヘッセ行列を反転することによって見つけられることは正しくありません。
2番目の質問について：（負の）ヘッセ行列の逆数は、漸近共分散行列の推定量です。したがって、共分散行列の対角要素の平方根は標準誤差の推定量です。
リンクする2番目のドキュメントが間違っていると思います。

正式に

してみましょう対数尤度関数です。フィッシャー情報行列対称的であるエントリを含むマトリックス： 観測フィッシャー情報行列は、単に、最尤推定値（MLE）で評価された情報行列。ヘッセ行列は次のように定義されます： $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ それは、パラメータに関する尤度関数の二次導関数の行列に他なりません。負の対数尤度を最小化すると、返されるヘッセ行列は観測されたフィッシャー情報行列と同等になりますが、対数尤度を最大化すると、負のヘッセ行列は観測された情報行列になります。

さらに、フィッシャー情報行列の逆行列は、漸近共分散行列の推定量です。標準誤差は、共分散行列の対角要素の平方根です。最尤推定値の漸近分布の場合、ここで、真のパラメータ値を示します。したがって、最尤推定の推定標準誤差は次のようになります。

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— クール
ソース

1

「負の対数尤度が最小化されたとき」（または最適化されたとき）と言う必要があります。

— cmo 14

8

（予想される）フィッシャー情報はです。観察（フィッシャー）の情報だけであるそれはの最大尤度推定で評価ですので、そうではないと呼ばれるが、それは観測データの関数ではなく、可能な観察の平均だから。場合、これはおそらく、完全な指数族の正準パラメーターに関する推論を考慮した、よく知られた例によって隠されています。

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi-モニカの復職

6

尤度関数を推定するには、2段階のプロセスが必要です。

まず、対数尤度関数を宣言します。次に、対数尤度関数を最適化します。それはいいです。

Rの対数尤度関数を書くとき、R のoptimコマンドはデフォルトで関数を最小化するため、（は対数尤度関数を表します）を要求します。-lの最小化は、lの最大化と同じです。 $-1*l$ $l$

これで、観測されたフィッシャー情報行列は等しくなります。ハッシアンに-1を掛ける必要がないのは、すべての評価が対数尤度の-1倍で行われているためです。これは、optimによって生成されるヘシアンに既に-1が乗算されていることを意味します $(-H)^-1$

— アデリーノ・マルティンス
ソース