ヘッセ行列と共分散行列の関係

私は最尤推定を研究していますが、最尤推定で推論を行うには、分散を知る必要があります。分散を見つけるには、曲率に2次微分を持つヘッセ行列のように見えるクラマーのラオ下限を知る必要があります。共分散行列とヘッセ行列の間の関係を定義するために、私はちょっと混乱しています。質問についてのいくつかの説明を聞くことを願っています。簡単な例が評価されます。

最初に、フィッシャー情報マトリックスとヘッセ誤差および標準誤差との関係に関するこの基本的な質問を確認してください。

我々は統計モデル（分布の家族）があるとし。最も一般的なケースでは、我々は持っているD I M （Θ ）= dは、この家族がによってパラメータ化されるように、θ = （θ 1、... 、θ D ）T。特定の規則的な条件の下で、$\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

したがって、フィッシャー情報行列は、あるでの対数確率のヘシアンの否定された期待値です$\theta$

$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

$T(X)$$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

$A \ge B$$A - B$$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

しかし、それは本当に私たちに何を伝えますか？たとえば、

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

上記から、推定された各要素の分散は、行列対角要素によって制限されていると結論付けることができます。$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

したがって、CRLBは推定量の分散を示しませんが、推定量が最適かどうか、つまり、すべての不偏推定量の中で共分散が最も低いかどうかを示します。