MCMCの反復ごとに大きなデータセットをサブサンプリングできますか？

問題：ギブスサンプリングを実行して、大規模なデータセットの事後を推測したい。残念ながら、私のモデルはそれほど単純ではないため、サンプリングが遅すぎます。私は変分的または並列的なアプローチを検討しますが、その前に...

質問：すべてのステップで学習するインスタンスが少なくなるように、ギブスの反復ごとにデータセットからランダムに（置き換えて）サンプリングできるかどうか知りたいのですが。

私の直感は、サンプルを変更しても確率密度を変更しないため、ギブスサンプルはトリックに気付かないはずです。私は正しいですか？これを行った人々の言及はありますか？

— アルベルト
ソース

余談ですが、別のアイデアは、大きなデータセットのランダムなサブサンプルに対して複数の分析を行うことです。このようにして、交差検証することもできます。

— 2014年

私はどんな権威でもあなたの正確な質問に答えることはできません（私の疑いはあなたがモンテカルロに付随する近似誤差を増加させているだけだと思います）、悲しい真実はこれがベイズMCMC分析のただの不幸な側面であるということです：それらは計算上です高価な。@conjecturesコメントは素晴らしいアイデアですが、問題の核心にはなりません。個人ごとにこれらのサンプルをすべて描画するにはコストがかかりすぎます。私の推奨は、重い作業（RのRcpp、PythonのCythonなど）用に独自のCコードを記述し、並列化（ブランチの依存関係がない場合）することです。

@conjecturesこれは、マイケル・ジョーダンの小さなブートストラップのバッグのように聞こえます。

— ハラドニエミ2014年

潜在的な変数の増加を完全に回避するために、サンプラーを変更することをお勧めします。ギブスサンプラーはなくなりますが、メトロポリスヘイスティングスアルゴリズムは、尤度の通常の近似に基づいた提案で問題なく機能します。ベイジアンデータ分析の第2版のセクション16.4を参照してください。

— jaradniemi

これは、正確に要約するのに十分なほどよく知らない活発な研究分野です。たとえば、jmlr.org / proceedings

— Andrew M

$X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

δ

$\delta$

δ

$\delta$

— niandra82
ソース