マルコフ連鎖モンテカルロサンプルの数

10

あり、多くの文献には、そこに診断で最も人気のGelman-Rubin氏を含むマルコフ連鎖モンテカルロ（MCMC）収束診断について。ただし、これらはすべてマルコフ連鎖の収束を評価し、バーンインの問題に対処します。

バーンインがわかったら、推定プロセスを続行するのに十分な数のMCMCサンプルをどのように決定すればよいですか？MCMCを使用するほとんどの論文は、マルコフ連鎖を回反復して実行したと述べていますが、その数を選択した理由/方法については何も述べていません。 $n$ $n$

さらに、マルコフ連鎖における相関は問題ごとに大きく異なるため、1つの望ましいサンプルサイズがすべてのサンプラーの答えになるわけではありません。それで、必要なサンプルの数を見つけるための規則はありますか？

— Greenparker
ソース

5

必要なサンプル（バーンイン後）の数は、それらのサンプルを使用して何を実行しようとしているか、およびチェーンの混合方法によって異なります。

E [h (θ) | y] \approx \frac{1}{M} \sum_{m = 1}^{M} h (θ^{(m)}) = E_{M}

$E[h(\theta)|y] \approx \frac{1}{M} \sum_{m=1}^M h(\theta^{(m)}) = E_M$

θ^{(m)}

$\theta^{(m)}$

\frac{E_{M} - E [h (θ) | y]}{\sqrt{M}} \overset{d}{\to} N (0, v_{h}^{2})

$\frac{E_M -E[h(\theta)|y]}{\sqrt{M}} \stackrel{d}{\to} N(0,v_h^2)$

E [h (θ) | y]

$E[h(\theta)|y]$

E_{M} \pm 1.96 v_{h}

$E_M \pm 1.96 v_h$

CLTは適用されますか？
$v_h^2$

離散状態チェーン、可逆チェーン、幾何学的エルゴードチェーンなど、CLTがいつ適用されるかに関するいくつかの結果があります。この方向でのいくつかの結果については、Robert and Casella（2nd ed）セクション6.7.2を参照してください。残念ながら、そこにあるマルコフ連鎖の大多数には、CLTが存在するという証拠がありません。

CLTが存在する場合でも、CLTの分散を推定する必要があります。この差異を推定する1つの方法には、チェーンをブロックに分割することが含まれます。GongとFlegalとその参照を参照してください。このメソッドは、Rパッケージmcmcseに関数mcseと実装され、mcse.q期待値と変位値の分散を推定します。

— ハラドニエミ
ソース

これは合理的に聞こえますが、私はここの文献に精通しています。この議論は実際にどのくらいの頻度で実際に使用されていますか？

— Greenparker 2016年

3

Doing Bayesian Data Analysisの John Kruschke氏は、対象のパラメーターについて、MCMCチェーンは、有効なサンプルサイズが少なくとも10,000になるまで実行することを推奨しています。シミュレーションはありませんが、彼の理論的根拠は、ESS> 10,000は数値的に安定した推定値を保証するということです。ただし、Andrew Gelmanや他のStan開発者があまり推奨していないことを確認しました（例：2000〜3000で結構です。正確なリンクはありませんが、残念ながらStan Googleユーザーグループの議論を参照してください）。さらに、複雑なモデルの場合、10,000を超えるESSに十分な長さのチェーンを実行するのは困難です。

— user3237820
ソース

ありがとう。彼が彼の資料でそれを言うところに私を送ることができますか？Webページをざっと目を通すには長い時間がかかります。また、私の答え[ここ]は、ESSの下限の決定について述べています。

— Greenparker

申し訳ありませんが、リンクを貼っていないことに気付きました。こちらです。

— Greenparker

1

申し訳ありませんが、もっと具体的だったはずです。Kruschkeは、ここで彼のブログの記事でも簡単に言及doingbayesiandataanalysis.blogspot.co.uk、それは彼の本の第7章にある、「マルコフ連鎖モンテカルロ法」、第2版のページ184：books.google.co.uk/...。

— user3237820

1

これは、MCMCシミュレーションの大きな欠点の1つです。これは、サンプル数に関する一般的で事前の推定値がないためです。ここでの良い資料は、Persis Diaconisによる「MCMCについて学んだいくつかのこと」であり、MCMCシミュレーションの多くの微妙な問題を扱っており、この質問に対する簡単な答えがないことを示していると思います。

一般に、チェーンの実行時間を適切に見積もるには、基礎となるグラフのプロパティに大きく依存するマルコフチェーンの混合時間を十分に理解する必要があります。上から混合時間を制限する多くの「バーンインフリー」方法がありますが、これらの方法はすべて、基礎となるマルコフチェーンをより深く理解する必要があり、関連する定数は通常、計算が困難です。。たとえば、Kingによる「コンダクタンスと急速に混合するマルコフチェーン」、「パスカップリング：マルコフチェーンでの急速な混合を証明するための手法」、Bubleyほか、またはDiaconisほかによる「有限マルコフチェーンの不等式」を参照してください。

— トビアスウィンディッシュ
ソース

同意した。しかし、実際には、サンプラーの混合時間は、この問題に対処するために、必ずしもそのように詳細に研究されているわけではありません。さらに、混合時間を研究するには、MCMCのほとんどのエンドユーザーが馴染みのないマルコフ連鎖理論のかなりの背景が必要です。診断などのヒューリスティックさえありませんか？

— Greenparker 2016年

私が考えられる唯一のことは、遷移行列の2番目に大きい固有値を数値で推定し、そこから混合時間の限界を導き出すことです。Kranthi Kumar Gadeの博士論文をご覧ください。

— Tobias Windisch 2016年

有限状態空間ではなく、一般状態空間マルコフ連鎖を使用している場合はどうなりますか？それはそのとき不可能だと思いますが、それを見てみましょう。

— Greenparker 2016年

あなたが正しいです。彼の方法は有限状態空間と離散時間マルコフ連鎖に対してのみ機能します。

— トビアスウィンディッシュ2016年