平易な英語の変分推論

YouTubeで動画を視聴していて、変分推論とは何なのか本当に定義できないような気がします。ビデオ講義を見ながら手続きができます。しかし、実際には何であるかを定義するのは難しい。それについて聞いてほしい。

私の知識に基づくものではありませんが、質問に非常に関連すると思われる（かなり平易な英語の）論文をここに示します 。ブレイ、ククルケル＆マコーリフ2016。https://arxiv.org/abs/1601.00670

要約から：

現代の統計の中心的な問題の1つは、計算が難しい確率密度を概算することです。この問題は、事後密度を含む計算として未知の量に関するすべての推論を構成するベイズ統計で特に重要です。このホワイトペーパーでは、変分推論（VI）について概説します。これは、最適化を通じて確率密度を近似する機械学習の手法です。VIは多くのアプリケーションで使用されており、マルコフ連鎖モンテカルロサンプリングなどの従来の方法よりも高速になる傾向があります。VIの背後にある考え方は、最初に密度のファミリーを推定し、次にターゲットに近いそのファミリーのメンバーを見つけることです。近さは、カルバックライブラーダイバージェンスによって測定されます。平均フィールド変分推論の背後にあるアイデアを確認し、指数ファミリーモデルに適用されたVIの特別なケースについて議論し、ガウスのベイジアン混合による完全な例を示し、確率的最適化を使用して大規模なデータにスケールアップするバリアントを導出します。VIでの現代の研究について議論し、重要な未解決の問題を強調します。VIは強力ですが、まだよく理解されていません。このホワイトペーパーを執筆する上での私たちの希望は、このクラスのアルゴリズムに関する統計調査を促進することです。

また、統計学者がマルコフ連鎖モンテカルロサンプリングを使用するタイミングと変分推論のタイミングに関するガイダンスも提供します（記事の「変分推論とMCMCの比較」の段落を参照）。