2変量混合分布を使用したEMアルゴリズムからの収束

与えられたデータと部分的に観測されたデータzのセットが与えられた場合の最尤推定量を見つけたい混合モデルがあります。Iは、Eステップ（の期待値計算両方実装しているZ所与のxと現在のパラメータθ kは、予想される所定の負の対数尤度最小にするために）、およびM-工程Zを。$x$$z$$z$$x$$\theta^k$$z$

私が理解しているように、最大​​尤度は反復ごとに増加しています。つまり、負の対数尤度は反復ごとに減少する必要がありますか？ただし、繰り返しますが、アルゴリズムは実際に負の対数尤度の値を減らしません。代わりに、減少と増加の両方が考えられます。たとえば、これは収束までの負の対数尤度の値でした。

ここに誤解したことがありますか？

また、シミュレートされたデータの場合、真の潜在的な（観測されていない）変数の最尤を実行すると、ほぼ完全に適合し、プログラミングエラーがないことを示します。EMアルゴリズムの場合、特にパラメーターの特定のサブセット（分類変数の比率など）の場合、明らかに次善の解に収束することがよくあります。アルゴリズムが局所的な最小点または定常点に収束する可能性があることはよく知られています。従来の検索ヒューリスティックまたは同様に、グローバルな最小値（または最大値）を見つける可能性を高めるための検索があります。この特定の問題については、2変量の混合のうち2つの分布のいずれかが確率1の値を取るため、多くのミス分類があると思います（真の寿命は、ここで、 zはいずれかの分布に属していることを示します。インディケータ zはもちろんデータセットで打ち切られます。 $T=z T_0 + (1-z)\infty$$z$$z$

理論的なソリューション（最適に近いはず）から始めるときの2番目の数値を追加しました。ただし、ご覧のとおり、可能性とパラメーターは、このソリューションから明らかに劣っているソリューションに分岐しています。

$\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)$$t_i$$i$$\delta_i$$L_i$$\tau_i$$z_i$観測値が属する母集団の指標です（その2変量は0と1を考慮するだけでよいため）。

$z=1$$f_z(t)=f(t|z=1)$$S_z(t)=S(t|z=1)$$z=0$$t$$\inf$$f(t|z=0)=0$$S(t|z=0)=1$

$f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)$および $S(t) = 1 - p + pS_z(t)$

可能性の一般的な形式を定義します。

$L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}}$

現在、は場合に部分的にのみ観測され、それ以外の場合は不明です。完全な可能性は$z$$\delta=1$

$L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}}$

ここで、は対応する分布の重みです（おそらく、いくつかの共変量といくつかのリンク関数によってそれぞれの係数に関連付けられています）。ほとんどの文献では、これは次の対数尤度に簡略化されています$p$

$\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i \ln(p) + (1-z_i)\ln(1-p)\big) + \delta_i z_i f_z(t_i;\theta) + (1-\delta_i) z_i S_z(t_i;\theta) - \tau_i S_z(L_i;\theta)\Big)$

以下のためにM-ステップ、この関数は、ではないが1つの最大化する方法で、その全体が、最大化されます。代わりに、これをパーツ分割できることはわかりません。$l(\theta,p; \cdot) = l_1(\theta,\cdot) + l_2(p,\cdot)$

k：th + 1 E-stepの場合、（部分的に）観測されていない潜在変数の期待値を見つける必要があります。場合はあるという事実を使用します。$z_i$$\delta=1$$z=1$

$E(z_i|\mathbf{x_i},\theta^{(k)},p^{(k)}) = \delta_i + (1-\delta_i) P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})$

ここでは、$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i}) =\frac{P(\mathbf{x_i};\theta^{(k)},p^{(k)}|z_i=1)P(z_i=1;\theta^{(k)},p^{(k)})}{P(\mathbf{x_i};\theta^{(k)},p^{(k)})}$

これにより、$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})=\frac{pS_z(t_i;\theta^{(k)})}{1 - p + pS_z(t_i;\theta^{(k)})}$

（ここでは、観測されたイベントはないので、データの確率はテール分布関数によって与えられます。$\delta_i=0$$\mathbf{x_i}$

EMの目的は、観測されたデータの対数尤度を最大化することです。

$$l(\theta) = \sum_i \ln \left[ \sum_{z} p(x_i, z| \theta) \right]$$

残念ながら、これはに関して最適化するのが難しい傾向があります。代わりに、EMは補助機能を繰り返し形成して最大化します$\theta$

$$Q(\theta , \theta^t) = \mathbb{E}_{z|\theta^t} \left (\sum_i \ln p(x_i, z_i| \theta) \right)$$

最大化する場合、EMは、$\theta^{t+1}$$Q(\theta, \theta^t)$

$$l(\theta^{t+1}) \geq Q(\theta^{t+1}, \theta^t) \geq Q(\theta^t, \theta^t) = l(\theta^t)$$

なぜこれが当てはまるのかを正確に知りたい場合は、Murphyの機械学習のセクション11.4.7 ：確率論的展望が適切な説明を提供します。実装がこれらの不等式を満たさない場合、どこかで間違いを犯しています。次のように言っています

完全に近いフィット感があり、プログラミングエラーがないことを示しています

危険です。多くの最適化アルゴリズムと学習アルゴリズムにより、間違いを犯しやすく、ほとんどの場合、正しい見た目の答えを得ることができます。私が気に入っている直感は、これらのアルゴリズムは乱雑なデータを処理することを目的としているため、バグも適切に処理することは当然のことです！

---

質問の残りの半分について、

グローバルな最小値（または最大値）を見つける可能性を高めるために、従来の検索ヒューリスティックまたは同様の方法がありますか

ランダム再起動が最も簡単な方法です。次の最も簡単な方法は、おそらく初期パラメータに対するシミュレーテッドアニーリングです。確定的アニーリングと呼ばれるEMの変種も聞いたことがありますが、私はそれを個人的に使用したことがないので、それについて詳しく説明することはできません。