ベイジアンモデルの選択におけるジェフリーズ-リンドリーのパラドックスをいつ心配する必要がありますか?


12

RJMCMCを使用して探索する、さまざまな複雑さのモデルの大きな(ただし有限の)スペースを検討しています。各モデルのパラメーターベクトルの事前分布は非常に有益です。

  1. どのような場合(もしあれば)、より複雑なモデルの1つがより適している場合、ジェフリーズ-リンドリーのパラドックスがより単純なモデルを好むかについて心配する必要がありますか?

  2. ベイジアンモデルの選択におけるパラドックスの問題を浮き彫りにする簡単な例はありますか?

私はいくつかの記事、すなわち西安のブログアンドリュー・ゲルマンのブログを読んだことがありますが、私はまだ問題をよく理解していません。


1
あまりにも多くの質問があり、それらはここで効果的に答えられるにはあまりにも明確すぎると思います。
ジャラドニエミ

フィードバック、@ jaradniemiのおかげで、「事後モデルの確率を効果的に返すRJMCMCプロシージャは、DICと同じモデルを優先すべきか?」という質問を削除しました。
ジェフ

回答:


5

私のブログで不明確でごめんなさい!

注:ベイズのモデル選択とジェフリーズ-リンドレーのパラドックスに関する背景を、クロス検証に関するこの別の回答で提供しました。

ジェフリーズ・リンドレーパラドックスは、周辺尤度の点でベイジアンモデル選択に関連している 場合無意味になる πがある σ -finite尺度(すなわち、無限の質量と測定)よりもむしろ確率測度。この難しさの理由は、無限の質量がなることです π C π任意の正の定数のために区別できないが、C。特に、ベイズ係数は使用できません。1つのモデルに「フラット」事前分布が与えられている場合は使用しないでください。

mバツ=πθfバツ|θdθ
πσπcπc

オリジナルのJeffreys-Lindleyパラドックスは、例として正規分布を使用します。モデルを比較するときX Nは、θは1 ベイズ因子である B 12 = EXP { - N ˉ X N 2 / 2 }

バツN01
バツNθ1
これはよくするときに定義されてπが適切な前ですが、あなたは、通常の前に取ればN0τ2θとしましょうτ無限大に行く、分母は任意の値に対してゼロになる ˉ X nはゼロとは異なりますおよびnの任意の値。(ない限りτおよびnは代わりにあなたが直接使用する場合は関連しているが、これは複雑になります!)πθ=Cどこcが必ずしも任意の定数、ベイズ因子であるB
B12=exp{nバツ¯n2/2}+exp{nバツ¯nθ2/2}πθdθ
πN0τ2θτバツ¯nnτn
πθ=c
cあろう B 12 = EXP { - N ˉ X N 2 / 2 }B12 に、したがって直接依存C
B12=exp{nバツ¯n2/2}c+exp{nバツ¯nθ2/2}dθ=exp{nバツ¯n2/2}c2π/n
c

さて、事前確率が有益である(したがって適切である)場合、ジェフリーズ・リンドリーのパラドックスが発生する理由はありません。十分な数の観測がある場合、ベイズ因子はデータを生成したモデルを一貫して選択します。(より正確には、データを生成した「真の」モデルに最も近いモデル選択のために考慮されるモデルのコレクション内のモデル。)


2
非常に詳細な回答をありがとう、西安!あなたのブログは非常に明確です(私はそれから多くを学びました)この特定の問題を理解するのが少し遅かったです!
ジェフ

実際、私のブログは、背景と前提条件に関する非常に多様な仮定で運営されているため、時々、そして多くの読者には確かに不明瞭です!
西安
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.