MCMCはいつ便利ですか？

MCMCアプローチが実際にどのような状況で役立つかを理解するのに苦労しています。Kruschkeの本「Doing Bayesian Data Analysis：A Tutorial with R and BUGS」のおもちゃの例を見ていきます。

これまで私が理解していたのは、サンプルを得るために、 $p(D|\theta)p(\theta)$ に比例するターゲット分布が必要だということです。しかし、が得られたら、分布を正規化して後部を取得するだけでよく、正規化係数は数値的に簡単に見つけることができます。それでは、これが不可能な場合はどうなりますか？ $P(\theta|D)$ $p(D|\theta)p(\theta)$

mcmc

— ヴァール
ソース

仮定

スカラーではなく、代わりにベクトルである

10000の寸法を有します。

θ

$\theta$

θ

$\boldsymbol\theta$

— ヤンガルコウスキ

私の答えは少し簡潔でした。定数、計算する必要があります取得するには

。スカラーの場合でも、

は本当に不安定であるため、数値的にも積分は困難です。その後、MCMCを使用できます。

\int_{- \infty}^{\infty} p (D | θ) p (θ)

$\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$

p (D | θ)

$p(D|\theta)$

— ヤンガルコフスキー

Alan Sokalからの警告：「モンテカルロは非常に悪い方法です。すべての代替方法が最悪の場合にのみ使用する必要があります」。その後、彼はMCメソッドの長い議論に着手します。stat.unc.edu/faculty/cji/Sokal.pdf

— Yair

@Yair：ソカルがチャーチルをチャネリングしているように聞こえます。

— 枢機

何も動作しないとき...

— kjetil b halvorsen

回答:

モンテカルロ積分は、例えば、被積分関数を多項式で近似することによる数値積分よりもはるかに効率的な数値積分の1つの形式です。これは、単純な数値積分手法が多数の関数評価を必要とする高次元で特に当てはまります。正規化定数を計算するには、重要度サンプリングを使用できます。 $p(D)$

p (D) = \int \frac{q (θ)}{q (θ)} p (θ) p (D ∣ θ) d θ \approx \frac{1}{N} \sum_{n} w_{n} p (θ_{n}) p (D ∣ θ_{n}),

$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$

ここで、及びからサンプリングされる。サンプリングされたポイントでの結合分布のみを評価する必要があることに注意してください。正しい場合、この推定量は、必要なサンプルが非常に少ないという意味で非常に効率的です。実際には、適切な選択するのは難しい場合がありますが、MCMCが役立つのはここです！アニーリングされた重要度サンプリング（Neal、1998）は、MCMCと重要度サンプリングを組み合わせています。 $w_n = 1/q(\theta_n)$ $\theta_n$ $q$ $q$ $q$

MCMCが有用なもう1つの理由は次のとおりです。通常、の事後密度には関心がありません。むしろ、要約統計と期待値に関心があります。 $\theta$

\int p (θ ∣ D) f (θ) d θ .

$\int p(\theta \mid D) f(\theta) \, d\theta.$

知ることは、一般にこの積分を解くことができることを意味しませんが、サンプルはそれを推定するための非常に便利な方法です。 $p(D)$

最後に、評価することができるといういくつかのMCMC法の要件は、すべてではなく、それらの、ある（例えば、マレーら、2006。）。 $p(D \mid \theta)p(\theta)$

— ルーカス
ソース

申し訳ありませんが、これはまだ明確ではありません。私の質問は、

を掛けるだけで、非正規化pdfが得られるということです。MCMCを実行することにより、非正規化pdfを推定できるサンプルを取得します。必要に応じて、両方を正規化できます。それで、私は要約統計量に興味がなく、後世にのみ興味があると仮定して、なぜMCMCを最初に使用するのですか？あなたが言ったように、いくつかのMCMCメソッドは

の計算を必要としません

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$ 、だから私はそれらに言及していません。私の知る限り、それらのほとんどはその計算を必要とします。これらの方法の有用性は何ですか？

— バール

MCMCを実行すると、正規化されたPDFからサンプルが取得されるため、正規化定数の計算は避けてください。そして、これは無料です。

— 西安

@Vaaal：「正規化係数は数値的に簡単に見つけることができる」という仮定は、単純な単変量分布にのみ当てはまります。高次元のために

、正規

一般的に極めて困難です。この場合でも、MCMCを使用して正規化定数を推定できます（たとえば、アニーリングされた重要度サンプリングを使用）。

θ

$\theta$

p (D ∣ θ) p (θ)

$p(D \mid \theta) p(\theta)$

— ルーカス

閉形式で計算できない、または事後分布ある事前および尤度が与えられた場合は標準タイプではなく、このターゲットから事後分布のモンテカルロ近似に向かって直接シミュレーションすることは実行不可能です。典型的な例は、BUGSブックで見られるような非共役の優先順位を持つ階層モデルで構成されています。 $p(\theta)$ $f(x|\theta)$

p (θ | x) \propto p (θ) f (x | θ)

$p(\theta|x)\propto p(\theta)f(x|\theta)$

受け入れ拒否、均一比、または重要度サンプリングなどの間接シミュレーション手法では、パラメーター次元が数単位を超えて増加すると、通常、数値および精度の問題が発生します。 $\theta$

反対に、マルコフ連鎖モンテカルロ法は、ローカルベース、すなわち現在値の近傍、および少数のコンポーネント、すなわち部分空間で事後分布を探索できるという点で、大きな次元に対してより意味があります。たとえば、Gibbsサンプラーは、一度に1次元のターゲット、つまりに関連付けられた完全な条件付き分布からシミュレートすることで、長期的に真の後方からシミュレーションを達成するのに十分であるという概念を検証します。 $p(\theta|x)$

$p(\theta|x)$

$p(\theta)f(x|\theta)$

p (θ) f (x | θ) \propto \int g (z | θ, x) p (θ) f (x | θ) d z

$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$

1990年にアラン・ゲルファンドとエイドリアン・スミスがメソッドを普及させた後の急増が示すように、MCMCのメソッドはベイジアンのメソッドにはるかに広い範囲を提供しました。

— 西安
ソース

バグブックへのリンクはもう機能していません。

— HelloWorld