なぜEMとMLEでの勾配降下法を使用する必要があるのですか

数学的には、期待値最大化（EM）の式とアルゴリズムは混合モデルの方が単純であることがよくありますが、EMで解決できるほとんどすべて（すべてではないにしても）はMLEでも解決できるようです（たとえば、 Newton-Raphson法（閉じていない式の場合）。

しかし、文献では、他の方法よりもEMが好まれているようです（たとえば、勾配降下法によるLLの最小化を含む）。それは、これらのモデルが単純であるためですか？それとも他の理由ですか？

ここに交差線がいくつかあると思います。統計文献で言及されているMLEは最尤推定値です。これは推定です。EMアルゴリズムは、その名前が示すように、MLEの計算によく使用されるアルゴリズムです。これらはリンゴとオレンジです。

MLEが閉じた形式でない場合、これを見つけるために一般的に使用されるアルゴリズムはNewton-Raphsonアルゴリズムです。これは、「MLEでも解決できる」と述べたときに参照しているものとなる場合があります。多くの問題で、このアルゴリズムはうまく機能します。「バニラ」問題の場合、通常、打ち負かすことは困難です。

ただし、混合モデルなど、失敗する問題はたくさんあります。EMアルゴリズムが常に最速の選択であるとは限りませんが、さまざまな理由から、多くの場合最も簡単な方法であることが、さまざまな計算上の問題に関する私の経験です。多くの場合、新しいモデルでは、MLEを見つけるために使用される最初のアルゴリズムはEMアルゴリズムになります。その後、数年後、研究者は、はるかに複雑なアルゴリズムが大幅に高速になることに気付くでしょう。しかし、これらのアルゴリズムは重要ではありません。

さらに、EMアルゴリズムの人気の多くは統計アルゴリズムのフレーバーであり、統計学者が数値アナリストと区別されていると感じられるようにするのに役立つと思います。