MCMC / EMの制限？MCMC over EM？

私は現在、RからJAGSを使用して階層ベイジアンモデルを学習しており、Python（「ベイカーのハッカー手法」）を使用してpymcも学習しています。

私はこの投稿から直感を得ることができます。「結局、あなたが知りたいと思った複雑な分布から独立したサンプルをなんとかしてなんとかして管理できたかのように見える数の山になってしまいます。」それは私が条件付き確率を与えることができるようなものであり、それから私は条件付き確率に基づいて無記憶プロセスを生成することができます。プロセスを十分に長く生成すると、同時確率が収束し、生成されたシーケンスの最後に山の数をとることができます。複雑な共同分布から独立したサンプルを取得するのと同じです。たとえば、ヒストグラムを作成して、分布関数を近似することができます。

それから私の問題は、MCMCが特定のモデルに収束するかどうかを証明する必要がありますか？私は以前にGMMとLDA（グラフィカルモデル）のEMアルゴリズムを学んだので、これを知ってやる気があります。収束するかどうかを証明せずにMCMCアルゴリズムのみを使用できる場合、EMよりもはるかに多くの時間を節約できます。予想対数尤度関数を計算する必要があるため（事後確率を計算する必要があります）、次に予想対数尤度を最大化します。これは、MCMCよりも明らかに厄介です（条件付き確率を定式化する必要があるだけです）。

また、尤度関数と事前分布が共役であるかどうかも疑問に思っています。それは、MCMCが収束する必要があることを意味しますか？MCMCとEMの制限について疑問に思っています。

bayesian mcmc expectation-maximization

— DQ_happy
ソース

n \to \infty

$n \rightarrow \infty$

EMはより高速で、ベイジアンではありません（誰もがベイジアン統計を好むわけではありません）。場合によっては、識別可能性の問題が少なくなります（単一の最大値に収束しますが、MCMCアプローチを使用すると、分布全体がポイント推定よりも複雑になる可能性があります））など

— Tim

EMは最尤または最大事後推定に使用されますが、最初はMLアルゴリズムとして説明され、一般的にMLアプローチで使用されます（en.wikipedia.org/wiki/…を参照）。

— Tim

MLではなくMAP推定にEMを使用する場合でも、事後分布の特性を調べようとするがローカルモードしか得られないため、EMはベイジアンではありません。

— Luca

私にとってEMを使用することは、関心のあるパラメーターの点推定を提供し、事後分布全体を定量化しないため、非ベイジアンです。EMとMCMCの両方を使用して、事前確率、潜在変数、観測確率変数を含む完全な確率モデルを作成できますが、推論は異なります。MCMCは完全な事後分布を特徴付けることを目的としていますが、EMは完全な事後分布の情報を伝えません。私にとってベイジアンは、意思決定に事後分布を使用する人物です。ただし、これは単純な場合があります。私もこのことを学んでいます。

— ルカ

EMは最適化手法です。有用な潜在変数の可能性が与えられると、EMはローカル最大値を返します。これは、開始値によってはグローバル最大値になる場合があります。

MCMCはシミュレーション手法です。潜在変数がある場合とない場合の尤度と事前確率が与えられると、事後分布からほぼ分布するサンプルが生成されます。そのサンプルの最初の値は通常、開始値に依存します。つまり、それらはしばしばバーンイン（またはウォームアップ）ステージとして破棄されます。

このサンプルを使用して事後分布に関連する積分を評価する場合（圧倒的多数の場合）、収束のプロパティは、エルゴードの定理により、本質的にiidモンテカルロ近似のプロパティと同じです。

$(x_t,\ldots,x_{t+T})$ $\pi(x|\mathfrak{D})$

— 西安
ソース