フィッシャー情報マトリックスが半正定値であるのはなぜですか？

18

ましょう。フィッシャー情報マトリックスは次のように定義されます。 $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

フィッシャー情報マトリックスが半正定値であることをどのように証明できますか？

inference linear-algebra fisher-information

— マッドプロブ
ソース

7

スコアとそれ自体の外積の期待値ではありませんか？

— ニールG

19

これをチェックしてください：http : //en.wikipedia.org/wiki/Fisher_information#Matrix_form

定義から、

私_{私 j} = E_{θ} [（ \partial_{私} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ） （ \partial_{j} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ）] 、

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ のために

i, j = 1, \dots, k

$i,j=1,\dots,k$ 、で

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$ 。

I_{i j}

$I_{ij}$ 式は、規則性の条件下でこれから派生しています。

非ヌルベクトル、 $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$

\sum_{私 、 j = 1}^{k} {あなたは}_{私} 私_{私 j} {あなたは}_{j} = \sum_{私 、 j = 1}^{k} （ {あなたは}_{私} E_{θ} [（ \partial_{私} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ） （ \partial_{j} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ）] {あなたは}_{j} ） = E_{θ} [（ \sum_{私 = 1}^{k} {あなたは}_{私} \partial_{私} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ） （ \sum_{j = 1}^{k} {あなたは}_{j} \partial_{j} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ）] = E_{θ} [{（ \sum_{私 = 1}^{k} {あなたは}_{私} \partial_{私} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ）}^{2}] \geq 0 。

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

このコンポーネントごとの表記がすぎる場合、フィッシャー情報行列はとして記述できることに注意してください。スコアベクトルは、 $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

S = {（ \partial_{1} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） 、 \dots 、 \partial_{k} ログ f_{バツ ∣ Θ} （ バツ ∣ θ ） ）}^{⊤} 。

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

したがって、1行の

{あなたは}^{⊤} H あなたは = {あなたは}^{⊤} E_{θ} [S S^{⊤}] あなたは = E_{θ} [{あなたは}^{⊤} S S^{⊤} あなたは] = E_{θ} [| | S^{⊤} あなたは | |^{2}] \geq 0。

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— 禅
ソース

3

（+1）良い答えとおかえりなさい、禅。私はあなたの休止の長さを考えると永久にあなたを失ったかもしれないと心配になっていた。それは本当に残念だったでしょう！

— 枢機

5

警告：一般的な答えではありません！

がフルランクの指数族に対応する場合、対数尤度の負のヘッセ行列は十分な統計量の共分散行列です。共分散行列は常に正の半正定です。フィッシャー情報は正の半正定値行列の凸の組み合わせなので、正の半正定値でなければなりません。 $f(X|\theta)$

— グスル
ソース