MCMCはフラットな尤度の問題を処理します

Metropolis-Hastingsサンプラーが非常に不規則にパラメーター空間を移動する可能性が非常に低い可能性があります。つまり、提案分布のパラメーター（私の場合はガウス分布）に関係なく、収束は達成できません。私のモデルにはそれほど複雑ではありません-2つのパラメーターだけですが、MHはこのタスクを処理できないようです。それで、この問題の周りに何かトリックがありますか？非常に遠く後部テールに移動するマルコフチェーンを生成しないサンプラーはありますか？

問題の更新：
詳細を示して質問を再定式化しようとします。まず、モデルについて説明します。
2つのノードを持つグラフィカルモデルがあります。各ノードは、次のように自動ポアソンモデル（Besag、1974）によって制御されますまたは、2つのノードしかなく、等しいグローバル強度を想定しているため：

p (X_{j} | X_{k} = x_{k}, \forall k \neq j, Θ) \sim P o i s s o n (e^{θ_{j} + \sum_{j \neq k} θ_{k j} x_{k}})

$p\left ( X_{j} |X_{k}=x_{k},\forall k\neq j,\Theta \right )\sim Poisson\left ( e^{\theta _{j}+\sum _{j\neq k}\theta _{kj}x_{k}} \right )$

p (X_{1} | X_{2} = x_{2}, θ, α) \sim P o i s s o n (e^{θ + α x_{2}})

$p\left ( X_{1} |X_{2}=x_{2},\theta, \alpha \right )\sim Poisson\left ( e^{\theta+\alpha x_{2}} \right )$

p (X_{2} | X_{1} = x_{1}, θ, α) \sim P o i s s o n (e^{θ + α x_{1}})

$p\left ( X_{2} |X_{1}=x_{1},\theta, \alpha \right )\sim Poisson\left ( e^{\theta+\alpha x_{1}} \right )$

これはマルコフフィールドであるため、同時分布（または実現の可能性）は次のようになります私はとに対してフラットな事前確率を仮定したので、後部は次に、以来 $X=[x_{1},x_{2}]$

p (X) = \frac{e x p (θ (x_{1} + x_{2}) + 2 x_{1} x_{2} α)}{Z (θ, α)} = \frac{e x p (E (θ, α, X))}{Z (θ, α)}

$p\left ( X \right )=\frac{exp\left ( \theta \left ( x_{1}+x_{2} \right )+2 x_{1}x_{2} \alpha\right )}{Z\left ( \theta, \alpha \right )}=\frac{exp\left ( E\left ( \theta, \alpha, X \right ) \right )}{Z\left ( \theta, \alpha \right )}$

α

$\alpha$

θ

$\theta$

π (θ, α | X) \propto \frac{e x p (E (θ, α, X))}{Z (θ, α)}

$\pi(\theta, \alpha |X)\propto \frac{exp\left ( E\left ( \theta, \alpha, X \right ) \right )}{Z\left ( \theta, \alpha \right )}$

Z (θ, α)

$Z(\theta, \alpha)$ 一般に評価が非常に難しい（たくさんの総和）私はJ. Moller（2006）による補助変数法を使用しています。この方法では、最初にギブスサンプラーによってデータのサンプルを描画します（条件は単なるポアソン分布であるため）、ガウス分布から提案を描画し、それに応じて受け入れ基準を計算します。そして、ここで私は野生のマルコフ連鎖を得ます。チェーンが移動できる境界を設定すると、サンプラーはある分布に収束するように見えますが、少なくとも1つの境界を移動すると、結果の分布も移動し、常に変化を示します。@ Xi'anは正しいと思います-後部は不適切かもしれません。

X^{'}

${X}'$

H (X^{'}, α^{'}, θ^{'} | X, α, θ)

$H({X}',{\alpha}',{\theta}'|X, \alpha, \theta)$

mcmc likelihood posterior

— トマス
ソース

大きなステップを取得するために、より大きなスケールパラメーターを使用する可能性があります。Rパッケージmcmcとコマンドmetropにも興味があるかもしれません。おそらく、適応型サンプラーが必要になります。このサンプラー（twalk）は、（おそらく「セカンドオピニオン」のように）適応性があるため、このような場合に使用できます。R、C、Pythonで実装されています。コードは、作者のWebページの1つからダウンロードできます。

@Procrastinator「より大きなスケールのパラメーター」とはどういう意味ですか？プロポーザルに大きな分散パラメータを使用することを意味しますか？

— トーマス2012

最初にはっきりさせておきますが、可能性がフラットである場合、サンプラーが「非常に後方尾部に移動」しないようにしたくないのです。望ましいのは、分布（尾と中央の両方）から適切にサンプリングすることです。ガウスの提案でMHアルゴリズムを使用する場合、ステップの長さを決定するスケールパラメーター/共分散行列を選択する必要があります。これらは、1。ディストリビューションから適切にサンプリングし、2。妥当な受け入れ率を得るために選択する必要があります。

あなたが唯一の2つのパラメータを持っているならば、数値積分は、おそらくより良い代替手段です

— probabilityislogic

共同尤度式に問題があります。を合計すると、。したがって、現在書かれているように可能性は不適切です。

x_{1}

$x_1$

p (x_{2} | α θ) = g (x_{2}) \sum_{x_{1} = 0}^{\infty} \exp (x_{1} [θ + 2 α x_{2}]) = \infty

$p(x_2|\alpha\theta)=g(x_2)\sum_{x_1=0}^{\infty}\exp(x_1[\theta+2\alpha x_2])=\infty$

— 確率論的

回答:

平坦な尤度で収束の問題が発生するのは驚くべきことです。問題が発生するのは通常、反対のケースです。そのような状況の通常の最初のチェックは、事後が適切であることを確認することです。そうでない場合は、「尾」の無限の遠足について説明します。事後が実際に適切である場合は、コーシー分布のような太いテールの提案を使用できます...そして、ロバーツとローゼンタールの適応アルゴリズム。

これでもまだ機能しない場合は、たとえばロジスティック変換を使用して、モデルの再パラメーター化を検討することをお勧めします。（可能なスケールパラメータを使用）、これはパラメータを単位平方にもたらします。

φ (x) = \exp (x) / {1 + \exp (x)}

$\varphi(x) = \exp(x)/\{1+\exp(x)\}$

以前の回答に関して、ギブスサンプリングは、受理-拒否よりも可能性の高いソリューションのように聞こえます。これは、境界を見つけ、t分布を後部に向かってスケーリングすることを必要とします。

— 西安
ソース

@Xian反対投票に関するフィードバックをありがとう。実際に、MHよりも受け入れ/拒否を好む状況はありますか？

— gui11aume 2012

@ gui11aume：妥当な受け入れ率を確保するために十分に小さい範囲で受け入れ拒否アルゴリズムを生成できる場合、受け入れ拒否はMetropolis-Hastingsよりも間違いなく好ましいです。ただし、これは（a）大きな次元および/または（b）複雑な、おそらくマルチモーダルなターゲットでは起こりそうにありません...

— Xi'an

2番目のパラメーターを条件として最初のパラメーターの分布を書き留めることができますか？もしそうなら、ギブスサンプリングは実行可能なオプションになります。それはほんの数行のコードであり、多くの場合ほとんど瞬時に混合することができます。

— デビッドJ.ハリス
ソース

編集：次のアプローチの問題を確認するには、@ Xi'anの回答とその後の議論を参照してください。

Metropolis-Hastingsが失敗し、モデルが比較的単純である場合、提案の自由度が低い（1〜6）スチューデントの分布で受け入れ/拒否アルゴリズムを使用することを考えることができます。 $t$

Rを使用する場合、でスチューデントのを簡単にシミュレートできます。ソフトウェアで変数を生成する簡単な方法がないがシミュレートできる場合、各ステップでからガウスの分散を描画し、その分散でガウスをシミュレートすることは同等です。 $t$ rt() $t$ $\Gamma$ $\Gamma$

— gui11aume
ソース