変分推論とMCMC：どちらを選択するか

Gibbsサンプリング、Metropolis HastingsなどのMCMCのさまざまなフレーバーを含め、VIとMCMCの両方の一般的なアイデアが得られたと思います。このペーパーでは、両方の方法のすばらしい説明を提供します。

次の質問があります。

• ベイジアン推論を行いたい場合、なぜ一方の方法をもう一方より選択するのですか？
• 各方法の長所と短所は何ですか？

これはかなり広範な質問であることを理解していますが、洞察をいただければ幸いです。

長い回答については、Blei、Kucukelbir、McAuliffeをご覧ください。この短い答えはそこから大きく引き出されます。

• MCMCは漸近的に正確です。VIはそうではありません。制限では、MCMCはターゲット分布を正確に近似します。VIは保証なしで提供されます。
• MCMCは計算コストが高くなります。一般に、VIは高速です。

つまり、計算に時間を費やして見積もりの​​精度を評価するとき、MCMCが勝ちます。我々は便宜-か、我々はデータで作業していることを犠牲に耐えることができるならば、大きなので、我々は持っているトレードオフ-VIは自然な選択であることを確認します。

または、上記の著者によってより雄弁かつ徹底的に説明されているように：

したがって、変分推論は、多くのモデルをすばやく探索したい大規模なデータセットおよびシナリオに適しています。MCMCは、より正確なサンプルに対してより大きな計算コストを喜んで支払う、より小さなデータセットおよびシナリオに適しています。たとえば、MCMCを20年かけて小規模ながら高価なデータセットを収集し、モデルが適切であると確信しており、正確な推論が必要な設定でMCMCを使用する場合があります。テキストの確率モデルを10億のテキストドキュメントに当てはめる場合、および推論を使用して多数のユーザーに検索結果を提供する場合、変分推論を使用する場合があります。このシナリオでは、分散計算と確率的最適化を使用して推論をスケーリングおよび高速化し、データのさまざまなモデルを簡単に探索できます。