MCMCの理解：代替手段は何でしょうか？

13

ベイジアン統計を初めて学習します。MCMCを理解するための角度として、私は疑問に思った：それは根本的に別の方法ではできないことをしているのか、それとも代替手段よりもはるかに効率的に何かをしているのか？

例として、反対のを計算するモデルが与えられたデータ与えられた場合、パラメーターの確率を計算しようとしていると仮定します。これをベイズの定理で直接計算するには、ここで指摘した分母が必要です。しかし、次のように、統合によってそれを計算できますか？ $P(x,y,z|D)$ $P(D|x,y,z)$ $P(D)$

p_d = 0.
for x in range(xmin,xmax,dx):
    for y in range(ymin,ymax,dy):
        for z in range(zmin,zmax,dz):
            p_d_given_x_y_z = cdf(model(x,y,z),d)
            p_d += p_d_given_x_y_z * dx * dy * dz

それは機能しますか（変数の数が非常に多いにもかかわらず非常に非効率的です）、またはこのアプローチが失敗する原因となる何か他のものがありますか？

bayesian mcmc

— サイドショーボブ
ソース

4

多くの場合、統合は機能しますが、時間がかかりすぎます（つまり、非効率的です）。MCMCは、事後を効率的に推定する方法です。

— マークホワイト

3

質問には関係ありませんが、積分のx、y、zの事前分布が欠けていると思います（ベイズの分子の式に表示されます）

— -alberto

17

後部へのグリッド近似を説明していますが、これは最も一般的な方法ではありませんが、有効なアプローチです。事後分布を分析的に計算できるケースはかなりあります。モンテカルロマルコフチェーンまたは他の近似方法は、事後分布のサンプルを取得する方法であり、分析解が見つからない場合に機能することがあります。

見つけることができる分析ソリューションは、通常「共役」ファミリーのケースであり、グーグルで調べることで詳細を確認できます。たとえば、https：//en.wikipedia.org/wiki/Conjugate_priorを参照してください。

最初の例として、事前のon pが均一のon [0, 1]である場合、ここでpは単純な二項実験の成功パラメーターであり、事後はベータ分布に等しくなります。この場合、統合または合計は明示的に実行できます。

パラメーターの選択肢が有限である場合、または例のようにグリッド近似を使用する場合、必要なのは単純な合計だけです。ただし、いくつかの変数があり、密なグリッドを使用する場合、計算の数はすぐに爆発する可能性があります。

後方からサンプリングするためのいくつかのアルゴリズムがあります。特にNUTSサンプラーハミルトニアンモンテカルロは、今人気があり、で使用されているstanとPyMC3メトロポリスヘイスティングスは古典です、。変分推論は相対的な新参者であり、実際のサンプリング方法ではなく、近似を取得する別の方法です。現時点では、分析ソリューションを含むメソッドはどれも最適ではなく、特定の場合にすべてうまく機能します。

— ギス
ソース

良い答えですが、あなたの最後の段落は、変分推論がサンプリング方法であることを暗示しているように見えますが、そうではありません。あなたはそれを修正することを検討するかもしれません。

— ルーベンファンベルゲン

7

分母を計算しても、事後分布（または任意の分布）の性質を理解するのに役立ちません。最近の質問で説明したように、d次元のベクトルの密度はこの事後分布の対象領域がどこにあるかを教えてくれません。 $\theta$

π （ θ | バツ ） \propto \exp {- | | θ - バツ | |^{2} - | | θ + バツ | |^{4} - | | θ - 2 バツ | |^{6}} 、 バツ 、 θ \in ℝ^{d} 、

$π(θ|x)∝\exp\{−||θ−x||^2−||θ+x||^4−||θ−2x||^6\},\qquad x,θ∈ℝ^d,$

— 西安
ソース

6

モンテカルロ法は、乱数を利用する手法です。目標は、に従って分布するサンプルを見つけることであり、は複雑であると想定されます。つまり、直接評価することはできません。そうでない場合は、分析的に計算するだけです。あなたの例のように、これはます。 $x$ $P(x)$ $P(x)$ $P(D)$

提案するのは、本質的にと空間を通るグリッド検索です。これは、とが高次元の場合は非常に網羅的であり、連続している場合は実行不可能です。別の問題は、各ステップで累積分布関数を計算する必要があることです。 $x$ $y$ $x$ $y$

MCMCメソッドは、候補サンプルを提案し、何らかの手段に応じてそれらを受け入れるか拒否することにより、これを解決しようとします。理論的には、これは可能なすべての組み合わせを通過するよりも高速です。基本的に、前のから引き出されたサンプルを見つけます。ここでの理論上の問題は、これが、描画されるサンプルの制限数、つまりサンプルの場合にのみ当てはまることです。だから、いつマルコフ連鎖を止めるべきかわからない。 $c_i$ $P(D)$ $\infty$

— hh32
ソース