変分ベイズとEMの関係

変分ベイズ法はEMアルゴリズムの一般化であるとどこかで読みました。実際、アルゴリズムの反復部分は非常に似ています。EMアルゴリズムが変分ベイズの特別なバージョンであるかどうかをテストするために、次のことを試しました。

$Y$ はデータ、は潜在変数のコレクション、はパラメーターです。変分ベイズでは、ような近似を作成できます。どこ sが単純で、扱いやすい分布です。 $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
EMアルゴリズムはMAPポイントの推定値を見つけるため、ようなデルタ関数を使用すると、変分ベイズがEMに収束できると考えました。 $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ 。 $\Theta_1$ は、EMで通常行われるパラメーターの最初の推定値です。
場合 $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ 、与えられた $Q^1_X(X)$ KL発散を最小化式によって求められる
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ 上記の式は $Q^1_X(X)=P(X|\Theta^1,Y)$ に簡略化され、このステップはExpectationステップと同等であることが判明しました。 EMアルゴリズムの！

しかし、これを継続するものとして最大化ステップを導き出すことはできません。次のステップでは、を計算する必要があり $Q^2_\Theta(\Theta)$ 、変分ベイズの反復規則に従って、これは次のようになります。

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

VBとEMアルゴリズムは本当にこのように接続されていますか？変分ベイズの特別なケースとしてEMをどのように導出できますか？

bayesian expectation-maximization variational-bayes

— ウフク・カン・ビチチ
ソース

EMアルゴリズムがMAP推定値を見つけることをどこで読みましたか？Neal＆Hinton（1998）がこの論文で提示したEMの見解を理解すると、変分推論とEMの関係が明らかになります。私の答えも参照してくださいここに。

— ルーカス14

この論文が説明するのと同じ方法でEMアルゴリズムを学んだと思います。それは下限最大化問題と見なされています。ジェンセンの等式と変動の計算を使用して、期待ステップでが下限を最大化する分布であり、最大化ステップでが見つかることがわかります、これは下限の最大値です。したがって、これは変分ベイズに似ています。（そして、それは周辺後部の局所的最大値に収束するため、MAP推定値）

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici 14

申し訳ありませんが、私はあなたの質問を十分に注意深く読みませんでした。を計算する最大化ステップは、分布を許可する場合、つまり、分解の仮定のみを行う場合にのみ有効であると考えています。ただし、はデルタ分布であるとさらに仮定しました。のパラメーターであるに関する下限を明示的に最大化するようにしてください。

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— ルーカス14

プレゼンテーションcs.cmu.edu/~tom/10-702/Zoubin-702.pdfの 21ページで、同様にディラック関数を使用して、EMとVBの比較が示されています。しかし、VBがEMにどのように減少するかは示されていません。

— ウフクカンビチチ

あなたのアプローチは正しいです。EMは、近似事後が点質量になるように制約されるという制約の下でVBと同等です。（これは、ベイジアンデータ解析の 337ページで証明なしで言及されています。）をこの点質量の未知の位置とします VBは次のKL発散を最小化します上の最小値はEMのEステップを与え、上の最小値はEMのMステップを与えます。 $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

もちろん、KLの発散を実際に評価する場合、無限になります。ただし、デルタ関数を制限と見なす場合、これは問題ではありません。

— トム・ミンカ
ソース

技術的には、 wrtは、MAP-EMのMステップに対応します（以前の）。-VBEMペーパーのセクション3.1

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang