名前EMアルゴリズムにEがあるのはなぜですか？

Eステップがアルゴリズムのどこで発生するかを理解しています（以下の数学セクションで説明されています）。私の考えでは、アルゴリズムの重要な工夫は、対数尤度の下限を作成するためのジェンセンの不等式の使用です。その意味でExpectationは、対数尤度を再定義してJensenの不等式（つまり、凹関数の場合はに適合するように単純に行われます。 $E(f(x)) < f(E(x))$

Eステップがいわゆると呼ばれる理由はありますか？期待していること（意味はありますか？単に予期せずに発生するのではなく、期待が中心的である理由の背後にある直感が欠けているように感じますジェンセンの不等式の使用。 $p(x_i, z_i| \theta)$

編集：チュートリアルは言う：

「Eステップ」という名前は、通常、完了に対する確率分布を明示的に形成する必要はなく、これらの完了に対して「期待される」十分な統計を計算するだけでよいという事実に由来しています。

「通常、完了に対する確率分布を明示的に形成する必要がない」とはどういう意味ですか？その確率分布はどのようになりますか？

付録：EMアルゴリズムのEステップ

\begin{aligned} l l & = \sum_{i} \log p (x_{i}; θ) & definition of log likelihood \\ = \sum_{i} \log \sum_{z_{i}} p (x_{i}, z_{i}; θ) & augment with latent variables z \\ = \sum_{i} \log \sum_{z_{i}} Q_{i} (z_{i}) \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})} & Q_{i} is a distribution for z_{i} \\ = \sum_{i} \log E_{z_{i}} [\frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})}] & taking expectations - hence the E in EM \\ \geq \sum E_{z_{i}} [\log \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})}] & Using Jensen's rule for \log which is concave \\ \geq \sum_{i} \sum_{z_{i}} Q_{i} (z_{i}) \log \frac{p (x_{i}, z_{i}; θ)}{Q_{i} (z_{i})} & Q function to maximize \end{aligned}

$\begin{align} ll &= \sum_i{\log p(x_i; \theta)} && \text{definition of log likelihood} \\ &= \sum_i \log \sum_{z_i}{p(x_i, z_i; \theta)} && \text{augment with latent variables $z$} \\ &= \sum_i \log \sum_{z_i} Q_i(z_i) \frac{p(x_i, z_i; \theta)}{Q_i(z_i)} && \text{$Q_i$ is a distribution for $z_i$} \\ &= \sum_i \log E_{z_i}[\frac{p(x_i, z_i; \theta)}{Q_i(z_i)}] && \text{taking expectations - hence the E in EM} \\ &\geq \sum E_{z_i}[\log \frac{p(x_i, z_i; \theta)}{Q_i(z_i)}] && \text{Using Jensen's rule for $\log$ which is concave} \\ &\geq \sum_i \sum_{z_i} Q_i(z_i) \log \frac{p(x_i, z_i; \theta)}{Q_i(z_i)} && \text{Q function to maximize} \end{align}$

— ハイゼンベルク
ソース

あなたが何を求めているのかは明確ではありませんが、Eステップに名前を付けることの背後にある関連性は、ある意味で、期待を満たして欠落した「埋める」または「代入する」ことであると常に想定してきました。確かに、を取っているので、これは正確には何が起こっているのかではありません値がありませんが、操作上、多くの場合、そのようなことになります。データ拡張を行っていた場合-多くの点でEMに似ています。

z

$z$

E_{θ} [\log p (x, Z; θ^{'}) ∣ X = x]

$E_\theta [\log p(x, Z; \theta') \mid X = x]$

Z

$Z$

— 男

はい、これは私がしたい種類の議論です。だから、期待をもってzを代入する」と言います。何の期待ですか？また、ではなくを意味しますか？

E_{z}

$E_z$

E_{θ}

$E_\theta$

— Heisenberg

私の育成は、常に、期待値がとられている確率測度をインデックス化するパラメーターでをインデックス化することでした。CSでは、彼らはあなたが提案しているようにそれを行います。インデックス付けされたメジャーに対してを条件付けして、統合しています。

E

$E$

Z

$Z$

X

$X$

θ

$\theta$

— 男

例として、ガウス混合をフィッティングするとき、Eステップは欠落しているクラスインジケーターを補完しました。しかし、それは各観測の責任を計算することにより、あいまいな方法でそうします。

— 2015

回答:

期待はEMアルゴリズムの中心です。まず、データ関連付けられた尤度は期待値ここで、期待値は、潜在ベクトルの限界分布。 $(x_1,\ldots,x_n)$

\begin{aligned} p (x_{1}, \dots, x_{n}; θ) & = \int_{Z^{n}} p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) d z \\ = \int_{Z^{n}} p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ) p (z_{1}, \dots, z_{n}; θ) d z \\ = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)] \end{aligned}

$\begin{align*} p(x_1,\ldots,x_n;\theta) &= \int_\mathfrak{{Z}^n} p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)\,\text{d}\mathbf{\mathfrak{z}}\\ &=\int_\mathfrak{{Z}^n} p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)p(\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)\,\text{d}\mathbf{\mathfrak{z}}\\ &=\mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right] \end{align*}$

(z_{1}, \dots, z_{n})

$(\mathfrak{z}_1,\ldots,\mathfrak{z}_n)$

EMの背後にある直感も期待に基づいています。ので直接ながら、最適化することができないは、監視されていない依存しますが、依存します。代わりに、予想される完全な対数尤度ただし、この期待値はとして選択された値にも依存するため、Mステップで（）最大化する関数： $\log p(x_1,\ldots,x_n;\theta)$ $\log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta)$ $\mathfrak{z}_i$

E [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}]

$\mathbb{E}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right]$

θ

$\theta$

θ_{0}

$\theta_0$

θ

$\theta$

Q (θ_{0}, θ) = E_{θ_{0}} [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}]

$Q(\theta_0,\theta)=\mathbb{E}_{\theta_0}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right]$ イェンセンの不等式は、各Mステップで観測された尤度の増加を正当化するためにのみ提供されます。

— 西安
ソース

説明ありがとう。潜在ベクトルの事後分布はステップごとに変化するため、ステップごとに変化しますか同様に？もしそうなら、この絵は表現する固定赤い曲線があるので、少し混乱でそれに対し、について、当社の現在の信念の上に我々している平均化以来のすべての段階で、「変化」そのステップでの潜在ベクトル

E_{θ} [p (x_{1}, \dots, x_{n}, z, \dots, z, θ)]

$E_\theta[p(x_1,\dots,x_n, \mathfrak{z}, \dots, \mathfrak{z}, \theta)]$

p (x; θ)

$p(x;\theta)$

p (x; θ)

$p(x;\theta)$

z

$z$

— ハイゼンベルク

申し訳ありません、質問が理解できません。EMステップごとに、変更と増加。これは、尤度関数自体が変化することを意味しません。

E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$\mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

— 西安

ない？潜伏ベクトルについての後方信念に従ってRHSが変化した場合、LHSも変化しますか？

p (x_{1}, \dots, x_{n}; θ) = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$p(x_1,\ldots,x_n;\theta) = \mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

— ハイゼンベルク

このアイデンティティは私の答えです。が異なる場合、両側は異なる値をとります。ただし、この方程式では、（a）が固定され、（b）考慮されるため、事後信念の概念はありません。

θ

$\theta$

θ

$\theta$

z_{i}

$\mathfrak{z}_i$

— 西安

各反復で、Eステップはを使用して積分を計算ししたがって、各反復変化を最大化するターゲット関数。これは、元のターゲット尤度これは、単一ののみ依存します。

t

$t$

p (z | x, θ_{t})

$p(\mathfrak{z}|x, \theta_t)$

Q (θ_{t}, θ) = E_{θ_{t}} [\log p (x_{1}, \dots, x_{n}, z_{1}, \dots, z_{n}; θ) | x_{1}, \dots, x_{n}] .

$Q(\theta_t,\theta)=\mathbb{E}_{\theta_t}\left[ \log p(x_1,\ldots,x_n,\mathfrak{z}_1,\ldots,\mathfrak{z}_n;\theta) \big| x_1,\ldots,x_n \right].$

t

$t$

p (x_{1}, \dots, x_{n}; θ) = E_{θ} [p (x_{1}, \dots, x_{n} | z_{1}, \dots, z_{n}, θ)]

$p(x_1,\ldots,x_n;\theta) = \mathbb{E}_\theta\left[ p(x_1,\ldots,x_n|\mathfrak{z}_1,\ldots,\mathfrak{z}_n,\theta)\right]$

θ

$\theta$

— 西安

西安の答えは非常によく、編集に関する拡張だけです。

「Eステップ」という名前は、通常、完了に対する確率分布を明示的に形成する必要はなく、これらの完了に対して「期待される」十分な統計を計算するだけでよいという事実に由来しています。

値は観察されていない、我々は、分布推定、各データポイントのためのとして未観測のデータを。Q関数は、に対する期待される対数尤度の合計です $z$ $q_x(z)$ $x$ completions $q_x(z)$

Q (θ) = \sum_{x} E_{q_{x}} [\log p (x, z | θ)]

$Q(\theta)=\sum_x E_{q_x}[\log p(x,z|\theta)]$

上記probability distribution over completionsはを参照する必要があります。一部の分布（特に、尤度は対数形式であるため、指数族）では、を計算して最大化するために、（予想される尤度ではなく）予想される値を知るだけで済みます。 $p(x,z|\theta)$ sufficient statistics $Q(\theta)$

確率的グラフィカルモデルのチャプター19.2に非常に良い紹介があります。

— ドントル
ソース