二項分布のフィッシャー情報が

二項式の分散が比例するということは、私の心を混乱させたり吹き飛ばしたりします。同様に、フィッシャー情報は1に比例します。$p(1-p)$。この理由は何ですか？フィッシャー情報がp=0.5で最小化されるのはなぜですか？つまり、p=0.5で推論が最も難しいのはなぜ$\frac{1}{p(1-p)}$$p=0.5$$p=0.5$ですか？

環境：

私はサンプルサイズ計算機で作業しており、必要なサンプルサイズであるの式は、p （1 − p ）の増加因子であり、導出における分散推定の結果です。$N$$p(1-p)$

直観的に、分散がで最大化されることを確認するには、pが0.99（p = 0.01）に等しいと仮定します。その後からサンプルX 〜ベルヌーイ（pは）おそらく多く含まれています1 "（それぞれSを0さん）とわずか数0の（それぞれ1さん）。それほど大きな違いはありません。$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

推論はのための「ハード」であるのサンプルので、途中で」P中央付近がより広い範囲と一致しているP。端の近くでは、遠く離れることはできません-端が「障壁」であるため、それを超えると$p$$\hat p$$p$$p$ことができないためです。

ただし、分散の観点から見ると直感が簡単だと思います。

中央が大きく、両端が小さい二項分布の分散についての直感はかなり単純です。エンドポイントの近くでは、データが「広がる」余地はありません。考えてみましょう小さな-平均は0に近いため、ばらつきが大きくなることはできません-平均へのデータのため$p$$p$を求めるには、平均からそれほど遠くまでしか取得できません。

一連のベルヌーイ試行でサンプル比率の分散を考えてみましょう。ここで。したがって、nを固定してpを変化させると、0に近いpの変動ははるかに小さくなります。$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

二項標本の標本比率-ここではランダムな一様です; 青い場合の平均値は0.03、黒い場合の平均値は0.5です（ジッターが追加されているため、ポイントが積み重なってディテールを失うことはありません） $y$

対応する確率関数：

いずれの場合も、平均を示す線に注意してください。平均線が障壁に対してより「詰まる」ようになると、平均より下のポイントは下に少ししか到達できません。

その結果、通常、平均を超えるポイントは平均を大きく超えることはできません（そうしないと平均がシフトするためです！）。付近$p = \frac{1}{2}$

$\hat p$$p$平均以上、これまで平均よりそれが行くことができるよう、約踏み付けに対応し、より確率がなければなりません。その迫り来る障壁は0で、変動性の制限と歪度の両方をもたらします。

[この形式の直観は、その正確な関数形式をとる理由を教えてくれませんが、分散が両端近くで小さくなければならない理由を明確にし、両端に近づくにつれて小さくなります。]

フィッシャー情報は、スコア関数の分散です。そして、それはエントロピーに関連しています。ベルヌーイ試験では、各試験につき1ビットずつ取得しています。したがって、このフィッシャー情報には、予想どおり、シャノンエントロピーと同様の特性があります。特に、エントロピーの最大値は1/2で、情報の最小値は1/2です。