フィッシャー情報とはどのような情報ですか？

29

ランダム変数ます。場合は trueパラメータだった、尤度関数を最大化し、ゼロに等しい派生する必要があります。これが最尤推定量の背後にある基本原則です。 $X \sim f(x|\theta)$ $\theta_0$

私が理解するように、フィッシャー情報は次のように定義されます

私 （ θ ） = E [{（ \frac{\partial}{\partial θ} f （ バツ | θ ） ）}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

したがって、が真のパラメーターである場合、です。しかし、が真のパラメーターでない場合、フィッシャーの情報が多くなります。 $\theta_0$ $I(\theta) = 0$ $\theta_0$

私の質問

フィッシャー情報は、特定のMLEの「エラー」を測定しますか？言い換えると、ポジティブなフィッシャー情報の存在は、私のMLEが理想的ではないことを意味しないのでしょうか？
「情報」のこの定義は、シャノンが使用する定義とどのように異なりますか？なぜそれを情報と呼ぶのですか？

— スタン・シュンパイク
ソース

なぜと書くのですか？期待値は、パラメータを使用した分布に由来するかのように、分布した値を超えています。

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

— ニールG

3

また、は真のパラメーターでゼロではありません。

I (θ)

$I(\theta)$

— ニールG

E（S）はゼロ（つまり、スコア関数の期待値）ですが、Neil Gが書いたように、漁師情報（V（S））は（通常）ゼロではありません。

— タルガリリ

15

他の答えを補完しようとしています...フィッシャー情報とはどのような情報ですか？ログ尤度関数と開始の関数としてののための、パラメータ空間。私たちがここで議論していないいくつかの規則性の条件を仮定すると、我々は持っている

ℓ （ θ ） = ログ f （ バツ; θ ）

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

（ここではのようにドットとしてパラメータに対する導関数を記述します）。分散は、フィッシャー情報である

がログ尤度関数の（負の）曲率であることを示す最後の式。多くの場合、次の最尤推定量（mle）が見つかります。

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

私 （ θ ） = E_{θ} （ \dot{ℓ} （ θ ） ）^{2} = - E_{θ} \ddot{ℓ} （ θ ）

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$

尤度方程式を解くことによって

スコアの分散としてフィッシャー情報

大きいが、その方程式の解は、データに対して非常に敏感であること高いへの希望を与えるであろうmleの精度。それは少なくとも漸近的に確認され、mleの漸近分散はフィッシャー情報の逆数です。

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

これをどのように解釈できますか？は、サンプルのパラメーターに関する尤度情報です。これは、実際には、我々は、尤度比検定を介して2つの別個の可能なパラメータ値のplausibilitiesを比較するためにそれを使用するときのように、相対的な意味で解釈することができる。対数尤度の変化率は、スコア関数である私たちどれだけ速く可能性の変化を伝え、そしてその分散 $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ サンプルからのサンプルに、与えられたparamiter値で、どのくらいこのばらつくことを言う。（！本当に驚くべきものである）式与えられたパラメータ値、情報の変動との間にrelationsship（平等）（可能性）があるを教えてくれる、とそのパラメーター値の尤度関数の曲率。これは、THS統計のばらつき（分散）との意外な関係である $\theta_0$

私 （ θ ） = - E_{θ} \ddot{ℓ} （ θ ）

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$ そして尤度の予想される変更は、我々は、パラメータ変わるとき

一部区間の周りで

（同じデータ用）を。これは本当に奇妙で、驚くほど強力です！

θ

$\theta$

θ_{0}

$\theta_0$

それでは、尤度関数とは何ですか？我々は通常、統計モデルを考えるデータの確率分布のファミリーとしてパラメータによって索引付け、パラメータ空間内のいくつかの要素。我々はいくつかの値が存在する場合は、trueであるとして、このモデルを考えるようなデータがあること実際に持っている確率分布 $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ 。我々は真のdatagenerating確率分布埋め込むことにより、統計モデルを得るように、確率分布の家族の中に。しかし、そのような埋め込みは多くの異なる方法で実行でき、そのような埋め込みはそれぞれ「真の」モデルになり、異なる尤度関数を与えることは明らかです。そして、そのような埋め込みがなければ、尤度関数はありません。埋め込みを賢明に選択するためのいくつかの原則、いくつかの原則が本当に必要なようです！ $f(x;\theta_0)$

それで、これはどういう意味ですか？つまり、尤度関数の選択により、真実が少し変わった場合にデータがどのように変化するかがわかります。データは唯一の真のモデル関数についての情報与えないようしかし、これは本当に、データによって検証することができません選びだし、モデル内の他のすべての要素については何も実際にデータを生成し、そしてません。このように、尤度関数の選択は、ベイジアン分析の事前の選択に似ており、非データ情報を分析に注入します。私たちは、単純な（やや人工）の例ではこれを見て、埋め込むの効果を見てみましょう $f(x;\theta_0)$ $f(x;\theta_0)$ モデルのさまざまな方法で。

私たちがいると仮定しましょうとしてIIDされている。したがって、これが真のデータ生成ディストリビューションです。今、私たちは、2つの異なる方法、モデルAとモデルBのモデルでこれを埋め込むせて $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$ これが一致することを確認できます。

A ： {バツ}_{1} 、 \dots 、 {バツ}_{n} イイド N （ μ 、 σ^{2} = 1 ） 、 μ \in R B ： {バツ}_{1} 、 \dots 、 {バツ}_{n} イイド N （ μ 、 μ / 10 ） 、 μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

ログ尤度関数は、となる

ℓ_{A} （ μ ） = - \frac{n}{2} ログ （ 2 π ） - \frac{1}{2} \sum_{私} （ {バツ}_{私} - μ ）^{2} ℓ_{B} （ μ ） = - \frac{n}{2} ログ （ 2 π ） - \frac{n}{2} ログ （ μ / 10 ） - \frac{10}{2} \sum_{私} \frac{（ {バツ}_{私} - μ ）^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

スコア機能（ログ尤度誘導体）：及び曲率

{\dot{ℓ}}_{A} （ μ ） = n （ \bar{バツ} - μ ） {\dot{ℓ}}_{B} （ μ ） = - \frac{n}{2 μ} - \frac{10}{2} \sum_{私} （ \frac{{バツ}_{私}}{μ} ）^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

そう、フィッシャー情報は、実際に埋め込むに依存します。ここで、真の値

、

フィッシャー情報を計算します

{\ddot{ℓ}}_{A} （ μ ） = - n {\ddot{ℓ}}_{B} （ μ ） = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{私} \frac{2 {バツ}_{私}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

したがって、パラメーターに関するフィッシャー情報は、モデルBでいくらか大きくなります。

私_{A} （ μ = 10 ） = n 、 私_{B} （ μ = 10 ） = n \cdot （ \frac{1}{200} + \frac{2020年}{2000年} ） > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

$\mu$

また、この例は、モデルファミリの構築方法を支援するための理論が本当に必要であることを示しています。

— kjetil b halvorsen
ソース

1

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

1

はい、あなたが言うことは本当です、@ idadanny真のパラメーター値で評価されるとき、それはゼロです。

— kjetil bハルヴォルセン

θ

$\theta$

θ_{0}

$\theta_0$

\hat{θ}

$\hat{\theta}$

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

31

$\ell$ $\ell$ $\ell$

$\ell$ $\theta$ $\theta$

何百万ものパラメータを持つ大きなモデルがあると考えてください。そして、モデルを保存する小さなサムドライブがありました。格納する各パラメーターのビット数をどのように優先順位付けする必要がありますか？正しい答えは、フィッシャー情報に従ってビットを割り当てることです（リッサネンはこれについて書いています）。パラメーターのフィッシャー情報がゼロの場合、そのパラメーターは重要ではありません。

フィッシャーの情報は、このパラメーターがデータについてどれだけ伝えているかを測定するため、これを「情報」と呼びます。

これを口頭で考える方法は次のとおりです。パラメーターが車を運転しており、データが後部座席にあり、ドライバーを修正しているとします。データの煩わしさはフィッシャーの情報です。データによりドライバーが運転できる場合、フィッシャー情報はゼロです。データが常に修正を行っている場合、それは大きなものです。この意味で、フィッシャー情報は、データからパラメーターに移動する情報の量です。

ハンドルの感度を上げるとどうなるかを考えてください。これは、再パラメーター化と同等です。その場合、車のオーバーステアを恐れて、データはそれほど大きくなりたくありません。このような再パラメータ化により、フィッシャー情報が減少します。

— ニール・G
ソース

20

@NeilGの素晴らしい回答（+1）を補完し、特定の質問に対処します。

「エラー」自体ではなく、「精度」を数えていると思います。

$I$ $I_{j,j}$ $tr(I)$ 正でなければなりません。これは、あなたの主張に従って「理想的ではない」推定量しか持てないことを意味します。いいえ、フィッシャーの肯定的な情報は、MLEの理想とは関係ありません。

定義は、どちらの場合も情報の概念を解釈する方法が異なります。とはいえ、2つの測定値は密接に関連しています。

$–p·log_2(p)$ $p$ 変数が値を取る確率です。両方とも、変数の「情報量」の測定値です。ただし、最初のケースではこの情報を精度の観点で判断し、2番目のケースでは障害の観点で判断します。異なる側面、同じコイン！：D

$I$

— usεr11852によると、Reinstate Monic
ソース