期待の最大化の明確化

EMアルゴリズムに関する非常に役立つチュートリアルを見つけました。

チュートリアルの例と写真は単に見事です。

確率の計算に関する関連質問期待値の最大化はどのように機能しますか？

チュートリアルで説明されている理論を​​例にどのように接続するかについて、別の質問があります。

Eステップ中に、EMは、どこでもを下回る関数を選択しますこの関数は、。$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

したがって、この例のは、反復ごとに異なるように見えます。$g_t$

さらに、例ではとをデータに適用すると、得られますおよび。私にとっては直観に反するように見えます。以前にいくつかの仮定があり、それをデータに適用して新しい仮定を取得したため、データは何らかの形で仮定を変更しました。がと等しくない理由がわかりません。 Θ （0 ） B =0.5 Θ （1 ） A =0.71 Θ （1 ） B =0.58 Θ（0） Θ（1$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

さらに、このチュートリアルの補足ノート1を見ると、さらに多くの質問が出てきます。たとえば、私たちのケースではは何。とき、なぜ不等式が厳しいのかははっきりしませんQ （z ）= P （z | x ; Θ $Q(z)$$Q(z)=P(z|x;\Theta)$

ありがとうございました。

私が見つかりました。これらのノートは、補足資料で何が起こっていたかを考え出すのに非常に役立ちます。

継続性のために、これらの質問に少し順序を乱して答えます。

---

まず、なぜそれが

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$$\log(P(x;\theta))$$\theta^{(0)}$ G 0$\theta^{(1)}$$g_0$$\theta$

---

第二に、なぜ不平等が厳しいのか

$$Q(z) = P(z|x;\theta)$$

これに関する脚注には、

確率変数が確率1で一定の場合（つまり、場合にのみ、等式が成立します。$y=E[y]$

選択ことを意味します$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

私たちの分数になります

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

ここから、定数の期待値は重み（関係なくその定数になるので、2つの辺が等しいことがすぐにわかります。$Q(z)$

---

$g_t$

私がリンクしたノートで与えられた答えは、補足ノートの答えとは少し異なりますが、それらは定数だけが異なり、最大化しているため、重要ではありません。注の1つ（派生あり）は次のとおりです。

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

この複雑な式は補足ノートでは詳しく説明されていません。おそらくこれらの用語の多くは定数であり、最大化すると破棄されます。私たちが最初にここに到着する方法に興味がある場合は、リンクしたメモをお勧めします。

$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$