なぜジェフリーズの事前情報は情報価値がないと見なされるのですか?


27

ジェフリーズ前に考えてみ、ここでiはフィッシャー情報です。p(θ)|i(θ)|i

私はこの事前情報が情報価値のない事前情報として言及されているのを見続けていますが、なぜそれが情報価値がないのかという議論を見たことはありません。結局のところ、それは定数の前ではないので、他の引数が必要です。

再パラメータ化に依存しないことを理解しているため、次の質問に進みます。フィッシャー情報の決定要因は再パラメーター化に依存しないということですか?フィッシャーの情報は間違いなく問題のパラメーター化に依存するからです。

ありがとう。


ウィキペディアの記事を読みましたか? en.wikipedia.org/wiki/Jeffreys_prior
whuber

2
はい、私はそこを見ていました。おそらく何かが欠けているかもしれませんが、ウィキペディアの記事が私の質問に適切に答えているとは感じません。
ベイジアン


ジェフリーズの事前分布は、同等のモデルに関して不変ではないことに注意してください。たとえば、二項または負の二項サンプリング分布を使用する場合、パラメーターに関する推論は異なります。これは、両方のモデルで尤度関数が比例し、パラメーターが同じ意味を持つにもかかわらずです。p
確率論的

回答:


12

パラメーター化の不変性のため、情報価値がないと見なされます。一様な(一定の)事前分布は情報価値がないという印象があるようです。時々そうです、時々そうではありません。

変換の下でジェフリーズの事前に起こることは、変換からのヤコビアンが元のフィッシャー情報に吸い込まれ、新しいパラメーター化の下でフィッシャー情報を提供することです。魔法はありません(少なくとも力学では)、ほんの少しの計算と線形代数。


6
私はこの答えに同意しません。主観的な事前分布を使用することは、パラメータ化不変手順でもあります!
ステファンローラン

29

ジェフリーズ事前分布は、1次元パラメーター空間(および「正規」モデル)の事前のベルナルド参照と一致します。大まかに言えば、これは事前と事後の間のカルバック・ライブラーの発散が最大になる事前です。この量は、データによってもたらされる情報の量を表します。これが、事前確率が情報価値がないと見なされる理由です。これは、データが最大量の情報をもたらすものです。

ところで、私はジェフリーズが彼の前のこの特徴づけを知っていたかどうかわかりませんか?


2
「大まかに言えば、これは事前と事後の間のカルバック・ライブラーの発散が最大になる事前です。」興味深いことに、私はそれを知りませんでした。
Cam.Davidson.Pilon

1
(+1)良い答え。あなたのポイントのいくつかのいくつかの参照(参照するとよいでしょう例えば 12)。

1
@Procrastinator私は現在、情報価値のない事前事態に関する新しい投稿を書いています;)おそらく数日お待ちください。
ステファンローラン

6

私はそれが絶対に有益ではないが、最小限の情報であると思います。これは、以前の知識の状態がパラメーター化(測定単位など)に依存していないことがわかっている(かなり弱い)事前知識をエンコードします。あなたの以前の知識の状態が正確にゼロであったなら、あなたはあなたの事前知識がそのような変換に不変であることを知りません。


私は混乱しています。どのような場合に、事前にモデルのパラメーター化に依存する必要があることを知っていますか?
ジョン・ローレンス・アスプデン

2
GLMを使用して、体重の関数として寿命を予測したい場合、被験者の体重をkgにしてもlbにしても、結論に影響を与えるべきではないことがわかります。重みよりも前に単純なユニフォームを使用すると、測定単位によって異なる結果が得られる場合があります。
ディクラン有袋類

1
これは、影響を受けないことがわかっている場合です。どうすればよいのでしょうか?
ジョンローレンスアスプデン

1
あなたは私の論点を見逃していると思います。分析が不変であるべき測定単位を持っていることさえ含めて、属性について何も知らないとします。その場合、事前確率はジェフリーの事前確率よりも問題に関する情報が少ないため、ジェフリーの事前確率は完全に有益ではありません。分析が何らかの変換に対して不変であってはならない状況である場合とそうでない場合がありますが、それは重要なことです。
ディクラン有袋類

2
NBGSの本(p83)によると、ジェフリー自身は、このような変換不変事前分布を「最小限の情報提供」と呼んでおり、問題に関する情報をエンコードしていると考えていたことを暗示しています。
ディクランマースピアル
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.