観測された情報マトリックスは、予想される情報マトリックスの一貫した推定量ですか？

弱一貫性最尤推定器（MLE）で評価された観測情報行列が、期待される情報行列の弱一貫性推定器であることを証明しようとしています。これは広く引用された結果ですが、誰も参照や証明をしていません（Googleの結果の最初の20ページと統計テキストを使い果たしたと思います）。

弱一貫性のあるMLEシーケンスを使用して、大きな数の弱い法則（WLLN）と連続マッピング定理を使用して、必要な結果を得ることができます。ただし、連続マッピング定理は使用できないと思います。代わりに、多数の統一法則（ULLN）を使用する必要があると思います。誰かがこれの証拠を持っている参照を知っていますか？ULLNを試みていますが、簡潔にするため、現時点では省略します。

この質問の長さをおaびしますが、表記を導入する必要があります。表記は次のとおりです（私の証明は最後です）。

我々は確率変数のIIDサンプルがあるとし$\{Y_1,\ldots,Y_N\}$密度の$f(\tilde{Y}|\theta)$、ここで（は、サンプルのメンバーのいずれか1つと同じ密度の単なる一般的なランダム変数です）。ベクトルは、すべてのであるすべてのサンプルベクトルのベクトルです。。密度の真のパラメーター値はであり、$\theta\in\Theta\subseteq\mathbb{R}^{k}$$\tilde{Y}$$Y=(Y_1,\ldots,Y_N)^{T}$$Y_{i}\in\mathbb{R}^{n}$$i=1,\ldots,N$θ N（Y $\theta_{0}$$\hat{\theta}_{N}(Y)$はの弱一貫性最尤推定量（MLE）です。規則性条件に従って、フィッシャー情報マトリックスは次のように記述できます。$\theta_{0}$

$$I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right]$$

ここでヘッセ行列です。同等のサンプルは${H}_{\theta}$

$$I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta),$$

ここで、。観測された情報行列は次のとおりです。$I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$

$J(\theta) = -H_\theta(\log f(y|\theta)$、

（一部の人々は行列がで評価される需要θが、一部にはありません）。サンプルの観測情報マトリックスは次のとおりです。$\hat{\theta}$

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

ここで、。$J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$

Iは、推定の確率に収束を証明することができるにI （θ ）ではなくのN - 1 J N（θ N（Y ））にI （θ 0）。ここまでが私の証明です。$N^{-1}J_N(\theta)$$I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))$$I(\theta_{0})$

今の要素である（R 、よ）のJ N（θ ）いずれかのために、R 、s = 1 、… 、$(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$$(r,s)$$J_N(\theta)$$r,s=1,\ldots,k$。サンプルはIIDされている場合は、多数（WLLN）の弱法則、確率のこれらの加数が収束の平均によるに。したがって、N − 1（J N（θ $-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$（すべての r 、s = 1 、… 、kなど）に対してN − 1 J N（θ ）P → I （θ ）。残念ながら、私たちは単純に結論づけることはできません N - 1 J N（θ N（Y ））P → I （$N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$$r,s=1,\ldots,k$$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$N − 1 J N（⋅ ）は I （⋅ ）と同じ関数ではないため、連続マッピング定理を使用します。$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$$N^{-1}J_{N}(\cdot)$$I(\cdot)$

これに関する助けは大歓迎です。

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

多数の一様な法則を直接確立することは、可能なアプローチの1つだと思います。

ここに別のものがあります。

私たちは、その見せたい。$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

（あなたが言ったように、我々はWLLNによって。しかし、これは直接私たちを助けません。）$\frac{J^N(\theta)}{N} \convp I(\theta)$

可能な戦略の1つは、それを示すことです

$$|I(\theta^*) - \frac{J^N(\theta^*)}{N}| \convp 0.$$

そして

$$|\frac{J^N(\theta_{MLE})}{N} - \frac{J^N(\theta^*)}{N}| \convp 0$$

両方の結果が真である場合、それらを組み合わせて取得することができます

$$|I(\theta^*) - \frac{J^N(\theta_{MLE})}{N}| \convp 0,$$

まさに私たちが見せたいものです。

最初の方程式は、大きな数の弱い法則から得られます。

2番目は、連続マッピング定理からほとんど続きますが、残念ながら、Nの変更にCMTを適用する関数：gは実際にはg N（θ ）：= J N（θ $g()$$N$$g$。したがって、CMTは使用できません。$g_N(\theta) := \frac{J^N(\theta)}{N}$

（コメント：あなたがウィキペディア上のCMTの証拠を検討した場合、予告その集合彼らは私たちのためにその証拠に定義するには、今も依存するn個我々は、本質的に同程度連続のいくつかの並べ替えを必要とする。θ * 私達の機能の上にG N（θ ）。）$B_\delta$$n$$\theta^*$$g_N(\theta)$

幸いなことに、家族 で確率的にequicontinuousあるθ *、それはすぐに追従するためのθ M L E P ⟶ θ *、 | G N（θ M L E）- G N（θ *）| P ⟶$\mathcal{G} = \{g_N | N=1,2,\ldots\}$$\theta^*$$\theta_{MLE} \convp \theta^*$

$$\begin{align*} |g_n(\theta_{MLE}) - g_n(\theta^*)| \convp 0. \end{align*}$$

（ここを参照してください：http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf確率的同程度連続の定義のために、及び上記の事実を証明します。）$\theta^*$

したがって、がθ ∗でSEであると仮定すると、目的の結果が成り立ち、経験的なフィッシャー情報は母集団のフィッシャー情報に収束します。$\mathcal{G}$$\theta^*$

さて、もちろん重要な質問は、SEを取得するためににどのような条件を課す必要があるかということです。これを行う方法の1つは、関数Gのクラス全体でLipshitz条件を確立することです（こちらを参照してください：http : //econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic-equicontinuity.original .pdf）。$\mathcal{G}$$\mathcal{G}$

確率的等連続性を使用した上記の答えは非常にうまく機能しますが、ここでは、観測された情報行列が情報行列の強い整合性のある推定量である、つまり私たちはプラグインあれば推定量の強く一貫したシーケンス。すべての詳細が正しいことを願っています。$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

我々が使用するインデックス集合である、私たちは一時的表記法を採用できるようにJ （〜Y、θを）：= J （θ ）の依存性を明示するために、J （θ ）ランダムベクトルに〜Y。また、仕事はして要素ごともの（J （〜Y、θ ））$I_{N}=\{1,2,...,N\}$$J(\tilde{Y},\theta):=J(\theta)$$J(\theta)$$\tilde{Y}$および（ J N（θ））R S = Σ N iが= 1（J（ Y I、θ））R S、R、S=1、。。。、k、この議論のため。関数（J（⋅、θ））r sは、集合 R n × Θで実数値になります$(J(\tilde{Y},\theta))_{rs}$$(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$$r,s=1,...,k$$(J(\cdot,\theta))_{rs}$$\mathbb{R}^{n}\times\Theta^{\circ}$, and we will suppose that it is Lebesgue measurable for every $\theta\in\Theta^{\circ}$. A uniform (strong) law of large numbers defines a set of conditions under which

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

The conditions that must be satisfied in order that (1) holds are (a) $\Theta^{\circ}$ is a compact set; (b) $(J(\tilde{Y},\theta))_{rs}$ is a continuous function on $\Theta^{\circ}$ with probability 1; (c) for each $\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$ is dominated by a function $h(\tilde{Y})$, i.e. $|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$; and (d) for each $\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$;. These conditions come from Jennrich (1969, Theorem 2).

Now for any $y_{i}\in\mathbb{R}^{n}$, $i\in I_{N}$ and $\theta'\in S\subseteq\Theta^{\circ}$, the following inequality obviously holds

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

Suppose that $\{\hat{\theta}_{N}(Y)\}$ is a strongly consistent sequence of estimators for $\theta_{0}$, and let $\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$ be an open ball in $\mathbb{R}^{k}$ with radius $\delta_{N_{1}}\rightarrow 0$ as $N_{1}\rightarrow\infty$, and suppose $K$ is compact. Then since $\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$ for $N$ sufficiently large enough we have $P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$ for sufficiently large $N$. Together with (2) this implies

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Now $\Theta_{N_{1}}\subseteq\Theta^{\circ}$ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to $\Theta_{N_{1}}$. Thus (1) and (3) imply

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Since $(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$ then (4) implies that $N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$. Note that (3) holds however small $\Theta_{N_{1}}$ is, and so the result in (4) is independent of the choice of $N_{1}$ other than $N_{1}$ must be chosen such that $\Theta_{N_{1}}\subseteq \Theta^{\circ}$. This result holds for all $r,s=1,...,k$, and so in terms of matrices we have $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$.