期待値最大化アルゴリズムが使用されるのはなぜですか？

私が知る限り、尤度のパラメーターに関する偏微分をゼロに設定すると、EMアルゴリズムを使用して最尤を見つけることができ、分析的に解くことができない方程式のセットが得られます。しかし、前述の一連の方程式の制約に関する尤度の最大値を見つけるために、何らかの数値手法を使用する代わりに、EMアルゴリズムが必要です。

質問は合法であり、EMアルゴリズムを最初に学んだときと同じ混乱がありました。

一般的に、EMアルゴリズムは、モデルの一部の変数が「潜在」または未知である（または扱われる）場合に、パラメトリックモデルの尤度関数を最大化できる反復プロセスを定義します。

理論的には、同じ目的で、最小化アルゴリズムを使用して、すべてのパラメーターの尤度関数の最大値を数値的に見つけることができます。ただし、実際の状況では、この最小化は次のようになります。

1. はるかに計算集約的
2. 堅牢性が低い

EM法の非常に一般的な用途は、混合モデルの適合です。この場合、各サンプルをコンポーネントの1つに「潜在的な」変数として割り当てる変数を考慮すると、問題は大幅に簡素化されます。

例を見てみましょう。2つの正規分布の混合物から抽出されたN個のサンプルます。EMなしでパラメーターを見つけるには、最小化する必要があります。$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

それどころか、EMアルゴリズムを使用して、まず各サンプルをコンポーネントに「割り当て」（Eステップ）、次に各コンポーネントを個別に適合（または尤度を最大化）します（Mステップ）。この例では、M-ステップは、単に見つけるための加重平均であるとσ kは。この2つのステップの繰り返し処理で最小限に抑えるために、よりシンプルで堅牢な方法である- ログL（X 、θ ）。$\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

$X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$。次に、メソッドが推定値になる値に収束するまで、これらの手順を繰り返します。

メソッド、プロパティ、証明、またはアプリケーションに関する詳細情報が必要な場合は、対応するWiki記事をご覧ください。

EMが使用されるのは、そのモデルが与えられたデータセットの確率を最大化するモデルのパラメーターを直接計算することがしばしば不可能または不可能だからです。