あいまいな事前情報は、情報価値のない事前情報と同じですか?


27

これは用語に関する質問です。「曖昧な事前」は、情報価値のない事前と同じですか、または2つの間に何らかの違いがありますか?私の印象では、それらは同じである(あいまいなものと情報のないものを一緒に検索することから)が、確信は持てない。


1
漠然と:はい。非informatively:いいえ
カーディナル

回答:


18

ゲルマン等。(2003)言う:

事後分布で最小限の役割を果たすことが保証される事前分布が長い間望まれてきました。このような分布は「参照事前分布」と呼ばれることもあり、事前密度はあいまい、平坦、または情報価値のないものとして説明されます。[元のテキストからの強調]

Gelman et al。でのJeffreysの以前の議論の私の読書に基づいています。(2003、p.62ff、真に情報価値のない事前分布の存在についてのコンセンサスはなく、十分に曖昧/平坦/拡散の事前分布で十分です。

彼らがするポイントのいくつか:

  1. 事前情報には情報が含まれていないことを示す事前情報を含む情報が含まれます。
    • たとえば、問題のパラメーターについて何も知らないことがわかっている場合、それについて何かを知っています。
  2. ほとんどの適用コンテキストでは、十分に曖昧な事前条件で十分な場合、真に情報価値のない事前条件に明確な利点はなく、多くの場合、共役事前条件の曖昧なパラメータ化を使用することには利点があります-
  3. ジェフリーズの原理は、単変量モデルでフィッシャーの情報量を最小化する事前分布を構築するのに役立ちますが、多変量の場合に類似するものはありません
  4. モデルを比較する場合、ジェフリーズの事前分布は尤度の分布によって異なるため、事前分布も変更する必要があります。
  5. 一般に、情報価値のない事前分布が存在するかどうかについては多くの議論がありました(1のため、この議論の歴史については、Gelman等のp.66の議論と参考文献も参照してください)

これはコミュニティwikiであることに注意してください -基礎となる理論は私の理解の限界にあり、この答えへの貢献に感謝します。

ゲルマン等。2003ベイジアンデータ分析、チャップマンおよびホール/ CRC


1
ゲルマン自身は「情報価値のない」優先事項を超えています。たとえば、stat.columbia.edu / 〜cook / movabletype / archives / 2007/07 / や、回答で参照した論文、および彼の他の作品を参照してください。この態度は、応用統計学者の間でますます普及しているようです。
JMS

@JMS Gelman et。等 2003年にはこの点を作って、私はそれを要約しようとしましたが、彼らは背景/理論/ヒューリスティックの目的のためにnoninformative事前確率を検討するように見える
デビッドLeBauer

ええ、ベイジアン統計の教科書は確かにそれらを無視することはできません。私は応用統計の傾向は、それ以来、仕事は「客観的ベイズ」に続くものの、これらの伝統的な選択肢の中から離れて移動してきたことを追加することを意図
JMS

人々は、非公式な意味と情報理論的な意味で、事前情報を記述する際に2つの方法で情報を使用する傾向があると思います。そのため、情報理論的な意味で、できるだけ少ない情報を含む最大エントロピー優先度を設定できます。この分布もし「あなたはパラメータについて何も知らない」という(かもしれない)信号を使用して、これは...もっと非公式な意味で非常に有益かもしれない
ラスマス・バース

9

それらは頻繁に交換可能に使用されますが、絶対にそうではありません。パラメーターのあいまいな事前分布(比較的情報が少なく、実際には他の値よりも一部の値が優先されない)は、実際に他の変換f θ に非常に有益な事前分布を引き起こす可能性があります。これは、ジェフリーズの事前の動機の少なくとも一部です。ジェフリーズは、できる限り情報価値のないものとして最初に構築されました。θfθ

あいまいな事前定義は、モデルに対してかなり悲惨なことをすることもあります。現在の古典的な例では、を階層モデルの分散成分のϵ 0事前分布として 使用しています。nverseGammaϵϵϵ0

この場合、不適切な制限の事前は不適切な事後を与えます。人気の代替は取ることでした前にそのルックスでその結果、上のほぼ均一本当に小さいとR +。しかし、それはまた、ほぼ不適切な事後をもたらし、モデルの適合と推論が苦しみました。完全な説明については、階層モデルの分散パラメーターについては、Gelmanの事前分布を参照してください。ϵR+

編集:@csgillespie(当然!)は、あなたの質問に完全には答えていないことを指摘しています。私の考えでは、情報価値のない事前分布は、パラメーター空間のある領域を別の領域よりも特に有利にしないという意味で曖昧なものですが、そうすることで、他のパラメーターに有益な事前分布を誘導するべきではありません。したがって、情報のない事前分布はあいまいですが、あいまいな事前分布は必ずしも情報のないものではありません。これが機能する1つの例は、ベイジアン変数選択です。変数の包含確率に関する「あいまいな」事前分布は、実際にモデルに含まれる変数の総数に関するかなり有益な事前分布を誘発する可能性があります。

本当に有益な事前情報の検索は、多くの人が異論を唱えるかもしれませんが、不安定です。いわゆる「弱く」有益な事前情報を使用する方がよい(これは、一般的に何らかの意味であいまいです)。本当に、どのくらいの頻度で問題のパラメーターについて何も知らないのでしょうか?


あなたの答えは非常にいいですが、実際には「情報のない事前」と「曖昧な事前」との違いを述べていません;)
csgillespie

@cgillespie:そのとおりです、編集:)
JMS

最後の段落から続き、検索の不安定な性質をサポートします。問題のパラメーターについて何も知らないことがわかっている場合、それについて何かを知っいます。
デビッドルバウアー

結構!皮肉なことに、前の選択に手間をかけすぎて多くのエネルギーを費やしている人の多くは、可能性を捨てる前によく考えないということです。一般に、指定ミスの可能性はトラブルを引き起こす可能性がはるかに高くなります。しかし、それは...全く別の問題だ
JMS

5

Lambert et al(2005)は、「曖昧はいかに曖昧か?WinBUGSを使用したMCMCでの曖昧な事前分布の使用の影響のシミュレーション研究」という質問を提起します。彼らは次のように書いています:「情報を提供するためにすべての事前分布を考慮するため、非情報的事前分布という用語の使用を推奨しません」私は同意する傾向がありますが、ベイジアン統計の専門家ではありません。


2
これは、情報価値のない事前事態などはないという私の主観的な事前の信念に同意します。
ワンストップ

@onestop私のCWの答えに貢献することを検討してください
デビッドルバウアー

Gϵϵϵ0

3

「曖昧な事前」は、パラメータの真の値に関するいくつかの小さいがゼロでない知識をエンコードすることが知られている事前を意味するのに使用されるのに対し、「非情報的事前」は完全な無知を意味するために使用されると思いますそのパラメータの値に関して。分析が完全に客観的ではなかったことを示すためにおそらく使用されます。

たとえば、非常に幅の広いガウス分布は、情報価値のない事前分布が均一になるパラメーターのあいまいな事前分布である可能性があります。ガウス分布は、対象のスケールではほぼ平坦ですが、それでも特定の値を他の値よりも少しだけ優先します(ただし、問題を数学的に扱いやすくすることができます)。


これは、ユニフォームが本当に情報価値がないのかという疑問を招きますか?情報のないユニフォームの最大と最小は何ですか?別のスケールに変換した後、事前情報は有益ではないでしょうか?
デビッドルバウアー

1
均一な事前分布は必ずしも情報価値がないわけではなく、その逆も同様であり、問​​題の性質に依存します。MAXENTと変換グループを使用して、既知の制約(スケーリングに対して不変である必要があるなど)で構成される最小量の情報を伝える事前分布を決定するために、最小限の情報を提供する事前確率のアイデアがより現実的であることが多いと思います。多くの問題では、不適切な事前分布が適切に機能するため、明確に定義された最小値と最大値がある必要は必ずしもありません。
ディクランマースピアル

2

情報のない事前分布にはさまざまな形式があります。これらの形式には、あいまいな事前および不適切な事前が含まれます。したがって、あいまいな事前情報は、情報価値のない事前情報の一部です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.