EMとGradient Ascentの違いは何ですか？

アルゴリズムEM（期待値最大化）と勾配上昇（または下降）の違いは何ですか？それらが同等である条件はありますか？

から：

Xu LおよびJordan MI（1996）。 ガウス混合のEMアルゴリズムの収束特性について。神経計算 2：129-151。

抽象：

パラメーター空間でのEMステップは、射影行列Pを介して勾配から取得されることを示し、行列の明示的な式を提供します。

2ページ

特に、正のデナイトマトリックスで勾配を事前に乗算することで、EMステップを取得できることを示しています。行列の明示的な式を提供します...

3ページ

つまり、EMアルゴリズムは、可変メトリック勾配上昇アルゴリズムと見なすことができます...

つまり、この論文は、EMアルゴリズムの勾配上昇、ニュートン、準ニュートンへの明示的な変換を提供します。

ウィキペディアから

勾配降下法、共役勾配法、ガウス–ニュートン法のバリエーションなど、最尤推定値を見つける方法は他にもあります。EMとは異なり、このような方法では通常、尤度関数の一次および/または二次導関数の評価が必要です。

いいえ、同等ではありません。特に、EMの収束は非常に遅くなります。

EMの最適化の観点に関心がある場合、このペーパーでは、EMアルゴリズムがより広いクラスのアルゴリズム（近接ポイントアルゴリズム）の特殊なケースであることがわかります。