MCMC; 後部から「純粋」で「十分に大きい」サンプルがあることを確認できますか？そうでない場合、どのように機能しますか？

このスレッドを参照：マルコフ連鎖モンテカルロ法（MCMC）を素人にどのように説明しますか？。

マルコフ連鎖とモンテカルロの組み合わせであることがわかります。マルコフ連鎖は、不変の制限分布として事後で作成され、その後、制限分布（=事後）からモンテカルロドロー（従属）が作成されます。

後ことをしましょうと言う（私はここに簡素化していますことを知っている）手順我々は極限分布です（*）。 $L$ $\Pi$

確率変数の配列であるマルコフ連鎖は、私はシーケンスを取得、確率変数であると ''制限確率変数であります''サンプリング元です。 $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$ $X_i$ $\Pi$

MCMCは初期値から始まります。つまり、は、その1つの値ですべての質量を持つランダム変数です。私は確率変数の実現のための確率変数と小文字のために大文字を使用する場合は、MCMCは私にシーケンス与え。したがって、MCMCチェーンの長さはL + nです。 $X_1$ $x_1$ $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[*注：大文字はランダム変数（つまり、一連の結果）であり、小さなは結果、つまり1つの特定の値です。*]] $x$

もちろん、唯一の私の「」事後「」と後部を近似するための「」だけでなく「に属しているが」の値 '十分な大きさ「」でなければなりません。 $\pi_i$ $n$

私はこれをまとめるならば、私はMCMCチェーン持ち長さ、のみ私の後方近似に関連する、及び十分な大きさでなければなりません。 $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$ $N=L+n$ $\pi_1,\pi_2,\dots, \pi_n$ $n$

事後近似の計算に（つまり、不変分布に到達する前の実現）の一部を含めると、「ノイズ」になります。 $x_i$

私はMCMCチェーンの長さを知っていますが、知識がなければ、つまり、限界分布からサンプリングするはずのステップで、ノイズを含まないこともできません。特に、限界分布からのサンプルのサイズであるについて確認してください。特に、「十分に大きい」かどうかはわかりません。 $N=L+n$ $L$ $n=N-L$

したがって、私が理解した限りでは、この値は、事後の近似の品質（ノイズとそこからの大きなサンプルの除外）にとって非常に重要です $L$ 。

MCMCを適用するときに合理的な推定値を見つける方法はありますか？ $L$

（*）一般に、は初期値依存すると思います。 $L$ $x_1$

mcmc

— コミュニティ
ソース

TL DR; あなたは見積もることができないので、。したがって、単純化の仮定は決して真に不可能です。（MCMCの一般的な世界ではなく、そうなる場合もあります）。ただし、初期バイアスを小さくするを決定できます。 $L$ $L = \infty$ $N$

基本的に、あなたの質問は「バーンイン時間をどのように見積もることができますか？」に要約されます。バーンインは、マルコフ連鎖が収束していないため、開始サンプルを捨てる行為です。「バーンイン」時間を見積もるのに役立つ多くのMCMC診断があります。それらのレビューはこちらで確認できます。

焼き付きに関しては2つの流派があります。人気のあるものは、それらの診断の1つを使用してを決定し、サンプルを破棄します。2つ目のスクールでは、最初のサンプルは重要ではないので、心配しないでください。チャーリー・ガイアーはこれについて暴言を持っていますが、それに同意します。 $L$ $L$ $L$

次に、質問のより技術的な詳細に移ります。

質問で簡単に仮定することは、最終的に（ステップ後）、サンプラーが制限分布から描画を開始するということです。したがって、ステップ後のサンプルは、相関はあるものの純粋な描画です。これは真実ではありません。厳密に言えば、はです。マルコフ連鎖は、有限時間で制限分布に真に収束することはありません。したがって、推定はほとんど無意味です。 $L$ $L$ $L$ $\infty$ $L$

この問題を提起する別の方法は次のとおりですステップの後、マルコフ連鎖は制限分布に「十分に近い」というようなは何ですか。これは、ほとんどの診断が答えようとする質問です。上記の診断は一般に非常にリベラルであり、「収束」を診断する前に診断できることがますます同意されています。ここに、診断の弱点のいくつかを示す論文があります。 $L$ $L$

上記がユーザーに代わりに行うことを要求するのは、を心配しないで、心配することです。一般的に、ユーザーは完全な事後分布に興味を持っているのではなく、特定の量に興味を持っています。多くの場合、この量は事後の平均、または予想として書き留めることができるその他の関数です。これは、MCMCの「モンテカルロ」部分の出番です。なぜなら、モンテカルロは、積分による積分の推定を示しているからです。その場合あなたのマルコフ連鎖（私は無視していますどのように予告で以来、ある $L$ $N$ $X_1, X_2, X_3, \dots, X_N$ $L$ $L$ $\infty$ ）、そして我々は事後平均（推定したい）、そして $\theta$

{\bar{θ}}_{N} = \frac{1}{N} \sum_{i = 1}^{N} X_{i} .

$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$

が十分に大きい場合、サンプルの初期バイアスは重要ではないという考え方です。もちろん、開始値が極限分布の高確率空間から病的に遠く離れている場合、ユーザーは最初の数サンプルを目で見て捨てることができます。推定とは異なります。これは推定ではなく、明らかに破損したサンプルに対する教育的な無視であるためです。 $N$ $L$

さて、当然の問題は、大きさはどれくらいかということです。答えは、をどれだけうまく推定したいかによって異なります。優れた推定値が必要な場合は、より多くのサンプルが必要です。適切な推定値で十分な場合は、より小さなサンプルで問題ありません。これは、標準の統計問題でまさに起こることでもあります。 $N$ $\theta$

私たちは見積もりの「良さ」を定量化する方法は、我々が言うことができるものを」、考えることです？、モンテカルロ・エラーは、合理的な条件の下では、と言うマルコフ連鎖CLT実際にそこにある、任意の初期分布のための $(\bar{\theta}_N - \theta)$ $N \to \infty$

\sqrt{N} ({\bar{θ}}_{N} - θ) \overset{d}{\to} N_{p} (0, Σ),

$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$

ここで、及び漸近共分散行列です。ここで重要なのは、初期分布の結果が正しいことです。 $\theta \in \mathbb{R}^p$ $\Sigma$

が小さい場合、推定器が良いことがわかります。このホワイトペーパーでは、この停止のアイデアを示し、ここでの私の答えはその方法をまとめたものです。論文の結果も、プロセスの初期分布に関係ありません。 $\Sigma/N$

— グリーンパーカー
ソース

回答のThx（+1）

が

であることはわかっていますが、単純化すると明示的に述べました。CLTに関しては、分布の収束のために

であるべきではありませんか？そして、のために

、それは、問題の遺骨を、それらを落とした後であればあるため、ということは、バーンイン値を落とした後に計算されましたか？（TL DRの意味をお聞きしてもよろしいですか？）論文をありがとう、詳細に読む

L

$L$

\infty

$\infty$

Σ / n

$\Sigma/n$

{\hat{θ}}_{N}

$\hat{\theta}_N$

タイプミスを修正、それがされている必要があります

。

すべてのサンプルから計算され、何がドロップされていません。TL DRは、「長すぎて読まなかった」という意味です。CLTが初期配布に対して保持することを追加するのを忘れました。それを追加します。

Σ / N

$\Sigma/N$

{\bar{θ}}_{N}

$\bar{\theta}_N$

— グリーンパーカー

X_{1} \sim π

$X_1 \sim \pi$

{\bar{g}}_{n}

$\bar{g}_n$

X_{1} \sim π

$X_1 \sim \pi$

π

$\pi$