EMアルゴリズムの練習問題

これは中間試験の練習問題です。問題はEMアルゴリズムの例です。（f）の部分で困っています。（a）から（e）までのパーツをリストアップして、前に間違えた場合に備えて完成させます。

ましょレートを持つ独立した指数確率変数も。残念ながら、実際の値は観測されず、値が特定の間隔内にあるかどうかのみが観測されます。ましょう、、及び $X_1,\ldots,X_n$ $\theta$ $X$ $X$ $G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$ $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$ （。観測されたデータはます。 $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ $j=1,\ldots,n$ $(G_{1j},G_{2j},G_{3j})$

（a）観測されたデータの可能性を与える：

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

（b）完全なデータ尤度を与える

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

（c）潜在変数の予測密度を導出する $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

（d）Eステップ。関数与える $Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

ここで、 $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

（e）式を与えるのために。 $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ $r=1,2,3$

私はかなり正しいと私が確信している私の結果をリストしますが、このすでにやっかいな質問の導出は少し長くなるでしょう：

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

これは私が行き詰まっている部分であり、それは以前の間違いが原因である可能性があります：

（f）M-ステップ。検索最大限 $\theta$ $Q(\theta,\theta^i)$

総期待の法則から、そのため $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

$\theta$ $\theta$

— bdeonovic
ソース

θ^{i}

$\theta^i$

θ

$\theta$

[i]

$[i]$

(i)

$(i)$

θ^{(i)}

$\theta^{(i)}$

i

$i$

θ^{i}

$\theta^{i}$

i

$i$

$\theta$ $X$ $G_{rj}$ $G$

パート（d）では、観測されたデータログの尤度ではなく、完全なデータログの尤度の期待値を使用する必要があります。

$X_j$ $X_j^{(i)}$

— jsk
ソース

@ベンジャミン問題はどうやってやって来るの？私はあなたがそれを行う方法を理解するのを手伝うことができましたか？

— jsk 2014年

コメント@jskをありがとう。昨夜は疲れていたので寝ましたが、今朝の朝食後にまた取り組みます:)

— bdeonovic

私はそれを理解したと思います！ありがとうございました！これは、実際に私が今日持っている決勝戦の準備中だったので、EMに関するいくつかのことを明確にするのに役立ちました。

— bdeonovic 2014年

どういたしまして。今日はファイナルがうまくいきますように！

— jsk 2014年

@jskのコメントに基づいて、私は私の間違いを是正しようとします：

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

$\theta$ $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$

— bdeonovic
ソース