モンテカルロと組み合わせた変分ベイズ

私は変分ベイズを読んでいます、そして私が理解しているように、それはあなたが関数で（はモデルの潜在変数であり、は観測されたデータです）を近似するという考えにします、がとして因数分解されるという仮定を行っています。ここで、は潜在変数のサブセットです。次に、最適な係数は次のようになります： $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

$$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$$

山括弧は、分布に関してを除くすべての潜在変数の期待値を示します。$z_i$$q(z)$

現在、この式は通常、分析的に評価され、おおよその目標値に対する正確な答えを提供します。しかし、これは予想であるので、この予想をサンプリングで概算するのが明白なアプローチであることに気付きました。これにより、おおよそのターゲット関数に対するおおよその答えが得られますが、分析アプローチが実行できない場合など、非常に単純なアルゴリズムになります。

私の質問は、これは既知のアプローチですか？名前はありますか？それがそれほどうまく機能しないかもしれない、またはそのような単純なアルゴリズムを生み出さないかもしれない理由はありますか？

これは私がよく知っているドメインではないことを告白しますので、これを一粒の塩でとってください。

まず第一に、あなたが提案しているものはそのような単純なアルゴリズムをないことに注意してください：新しいを計算するために、単一の期待値（平均や分散など）を計算する必要はありませんが、関数全体の期待値。これは計算が難しく、真のをいくつかの近似する必要があります（たとえば、ヒストグラム近似が見つかるかもしれません）。$q^\star_i$$q^\star$$\tilde q$

ただし、を小さなパラメトリックファミリーに制限する場合は、確率的勾配降下法を使用して最適なパラメーター値を見つけることをお勧めします（参照：確率的検索による変分ベイズ推論、2012、ペイズリー、ブライ、ジョー​​ダン）。それらが計算する勾配は、あなたが書いたものと非常に似ています。それらは、現在最適化していないすべての近似からサンプリングします。$q_i$

だからあなたが提案することはそれほど単純ではありませんが、それはごく最近提案された実際の方法にかなり近いです