不適切な事前確率を持つベイズ因子

ベイズ因子を使用したモデル比較について質問があります。多くの場合、統計学者は不適切な事前分布（たとえば、一部のジェフリーズ事前分布と参照事前分布）を使用したベイジアンアプローチの使用に関心を持っています。

私の質問は、モデルパラメーターの事後分布が明確に定義されている場合、不適切な事前分布を使用してベイズ因子を使用するモデルを比較することは有効ですか？

簡単な例として、正規モデルとロジスティックモデルをジェフリーズ事前分布と比較することを検討してください。

bayesian model-selection prior

— ジェフリー
ソース

不適切な事前学習は、「非有益な事前学習」の役割を果たします。「事前信念なし」の視点にいる場合は、明らかに、モデルに事前確率を割り当てることはできません。ただし、「本質的なベイズ因子」の概念について、Bergerや他の著者によるいくつかの論文があります。これは、情報のない事前分布を持つベイズ因子のように聞こえますが、これらの論文を読んだことがないので、これ以上は言えません。また、おそらく他の「客観的なベイジアンモデル選択」方法が存在します（Googleでこれらの用語を入力すると、Bergerによるいくつかの論文が生成されます）。

— ステファン・ローラン

@StéphaneLaurentパラメータの事前の解釈は、モデルの事前確率の解釈とは異なります。これは、ベイズ因子の一般式からわかる。また、モデルの前に一律、パラメータの前に不適当を割り当て、データが事後的に何を伝えているかを確認することもできます。

— ジェフリー

変数選択への適用（AoS、2012）、特に補題1のベイジアンモデル選択の基準を読むことをお勧めします。基本的に、不適切な事前分布は非共通パラメーターに使用できません。

いいえ。不適切な事前分布は、特定の状況下で（Bernstein–von Misesの定理により）パラメーター推定に問題はありませんが、周辺化パラドックスとして知られているため、モデルの比較では大きな問題となります。

$p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

一部の著者、特にET Jaynesは、不適切な事前確率を適切な事前確率のシーケンスの制限として定義することでこれを回避しようとします。問題は、2つの異なる制限シーケンスがあり、異なる応答を返す可能性があることです。

— サイモン・バーン
ソース

お返事ありがとうございます。比例定数に関する問題は、ベイジアンチョイス pp.349で説明されているように、場所やスケールパラメーターなどの共通パラメーターに同じ不適切な事前を使用することで回避できます。特定の構造。

— ジェフリー

問題は、非現実的なケースが支配することです。場所パラメーターに前もって均一の場合、[0,1]と同じように、間隔[100,200]に100倍の重みを配置します（これはばかげているように見えるかもしれません）いくつかの状況）。

— Simon Byrne、2012

しかし、問題は、不適切な事前分布を確率論的に解釈できないことです。事前分布は不適切であるため、確率論的解釈がなくなっていることを考えると、そのような重みはありません。

— ジェフリー

確率的ではありませんが、それでも測定値なので、相対的な比較を行うことができます（つまり、[0,1]の場合と同じように、間隔[100,200]の「質量」が100倍になります）。

— Simon Byrne

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$