EMアルゴリズムの説明をいくつか読みました（たとえば、Bishopのパターン認識と機械学習、および機械学習に関するロジャーとジェロラミの最初のコースから）。EMの派生は大丈夫です、私はそれを理解しています。また、アルゴリズムが何かをカバーする理由も理解しています：各ステップで結果を改善し、尤度は1.0で制限されているため、単純な事実（関数が増加し、制限される場合は収束する）を使用することで、アルゴリズムが収束することがわかりますいくつかの解決策。

しかし、それがローカルミニマムであることをどのように知るのでしょうか？各ステップでは、1つの座標（潜在変数またはパラメーター）のみを検討しているため、ローカルミニマムでは両方の座標を同時に移動する必要があるなど、何かを見逃す可能性があります。

これは、EMのインスタンスである一般的なクラスの山登りアルゴリズムと同様の問題だと思います。したがって、一般的な山登りアルゴリズムでは、関数f（x、y）= x * yに対してこの問題があります。（0、0）ポイントから開始する場合、両方の方向を一度に考慮することによってのみ、0の値から上に移動できます。

EMは、極小値への収束を保証されていません。パラメーターに関して勾配がゼロのポイントに収束することが保証されるだけです。そのため、実際にはs点で立ち往生する可能性があります。

まず、EMが尤度関数のローカルmin、ローカルmax、またはサドルポイントに収束する可能性があります。より正確には、トムミンカが指摘したように、EMは勾配がゼロの点に収束することが保証されています。

これを見るには2つの方法が考えられます。最初のビューは純粋な直観であり、2番目のビューは正式な証拠のスケッチです。まず、非常に簡単に、EMの仕組みを説明します。

$t$$b_t(\theta)$$L(\theta)$$\theta_t = \arg\max_\theta b_t(\theta)$

勾配上昇としての期待値最大化

各反復、EMは、前の反復の解で境界が尤度関数接触すること、つまり勾配が同じであることを示すを必要とします。つまり、です。したがって、は少なくともあるため、EMは少なくとも勾配上昇とです。言い換えると：BのTの L θ T - 1、G = ∇ B T（θ T - 1）= ∇ L （θ T - 1）θ T θ T - 1 + η $t$$b_t$$L$$\theta_{t-1}$$g = \nabla b_t(\theta_{t-1}) = \nabla L(\theta_{t-1})$$\theta_t$$\theta_{t-1} + \eta g$

EMが収束する場合、は勾配上昇の収束点でもあり、EMは勾配上昇ソリューション間で共有されるプロパティ（勾配値ゼロを含む）を満たします。θ $\theta^*$$\theta^*$

正式な証拠のスケッチ

境界と尤度関数の間のギャップがゼロに収束することを示すことができます。それは 境界の勾配も尤度関数の勾配に収束することを証明できます。つまり、 ための及び及びEMで使用される境界は、微分可能であること及びその、我々はその、したがって、。

$$\lim_{t \rightarrow \infty} L(\theta_t) - b_t(\theta_t) = 0. \tag{1}$$ $$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = \nabla b_t(\theta_t). \tag{2}$$ $(1)$$(2)$$\theta_t = \arg\max_\theta b_t(\theta)$$\nabla b_t(\theta_t)=0$$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = 0$