注：この回答の背後にあるコードはこちらにあります。
赤と青の2つの異なるグループからサンプリングされたデータがあるとします。
ここでは、どのデータポイントが赤または青のグループに属しているかを確認できます。これにより、各グループを特徴付けるパラメーターを簡単に見つけることができます。たとえば、赤のグループの平均は約3、青のグループの平均は約7です（必要に応じて正確な平均を見つけることができます）。
これは、一般的に言えば、最尤推定として知られています。いくつかのデータが与えられると、そのデータを最もよく説明する1つまたは複数のパラメーターの値を計算します。
ここで、どのグループからどの値がサンプリングされたかを確認できないと想像してください。すべてが紫に見えます。
ここでは、値のグループが2つあることはわかっていますが、特定の値がどのグループに属しているかはわかりません。
このデータに最も適合する赤のグループと青のグループの平均を推定できますか？
はい、できます！期待値の最大化は、それを行う方法を提供します。アルゴリズムの背後にある非常に一般的な考え方は次のとおりです。
- 各パラメータが何であるかについての初期推定から始めます。
- 各パラメーターがデータポイントを生成する可能性を計算します。
- パラメータによって生成される可能性に基づいて、各データポイントの重みを計算して、赤か青かを示します。重みとデータを組み合わせます（期待値）。
- 重み調整されたデータを使用して、パラメーターのより良い推定を計算します（maximization）。
- パラメータ推定値が収束するまで、手順2〜4を繰り返します（プロセスは別の推定値の生成を停止します）。
これらの手順にはさらに説明が必要なため、上記の問題について説明します。
例：平均と標準偏差の推定
この例ではPythonを使用しますが、この言語に慣れていない場合、コードはかなり理解しやすいはずです。
赤と青の2つのグループがあり、値が上の図のように分布しているとします。具体的には、各グループには、次のパラメーターを持つ正規分布から抽出された値が含まれています。
import numpy as np
from scipy import stats
np.random.seed(110) # for reproducible results
# set parameters
red_mean = 3
red_std = 0.8
blue_mean = 7
blue_std = 2
# draw 20 samples from normal distributions with red/blue parameters
red = np.random.normal(red_mean, red_std, size=20)
blue = np.random.normal(blue_mean, blue_std, size=20)
both_colours = np.sort(np.concatenate((red, blue))) # for later use...
以下は、これらの赤と青のグループの画像です（上にスクロールする必要をなくすため）。
各ポイントの色（つまり、どのグループに属しているか）がわかると、各グループの平均と標準偏差を推定するのは非常に簡単です。赤と青の値をNumPyの組み込み関数に渡すだけです。例えば：
>>> np.mean(red)
2.802
>>> np.std(red)
0.871
>>> np.mean(blue)
6.932
>>> np.std(blue)
2.195
しかし、ポイントの色が見えない場合はどうでしょうか。つまり、赤や青ではなく、すべての点が紫に着色されています。
赤と青のグループの平均と標準偏差のパラメーターを回復するために、期待値最大化を使用できます。
最初のステップ（上記のステップ1）は、各グループの平均と標準偏差のパラメーター値を推測することです。インテリジェントに推測する必要はありません。私たちは好きな数字を選ぶことができます：
# estimates for the mean
red_mean_guess = 1.1
blue_mean_guess = 9
# estimates for the standard deviation
red_std_guess = 2
blue_std_guess = 1.7
これらのパラメーター推定により、次のようなベル曲線が生成されます。
これらは悪い見積もりです。両方の意味（縦の点線）は、たとえば、意味のあるポイントのグループについて、あらゆる「中間」から遠くを見ています。これらの見積もりを改善したいと考えています。
次のステップ（ステップ2）では、現在のパラメーターの推測の下に表示される各データポイントの尤度を計算します。
likelihood_of_red = stats.norm(red_mean_guess, red_std_guess).pdf(both_colours)
likelihood_of_blue = stats.norm(blue_mean_guess, blue_std_guess).pdf(both_colours)
ここでは、赤と青の平均と標準偏差での現在の推測を使用して、各データポイントを正規分布の確率密度関数に単純に入れました。これは、たとえば、現在の推測では、1.761のデータポイントは青（0.00003）よりも赤（0.189）である可能性がはるかに高いことを示しています。
各データポイントについて、これらの2つの尤度値を重みに変換し（ステップ3）、次のように合計して1になるようにします。
likelihood_total = likelihood_of_red + likelihood_of_blue
red_weight = likelihood_of_red / likelihood_total
blue_weight = likelihood_of_blue / likelihood_total
現在の推定値と新しく計算された重みを使用して、赤と青のグループの平均と標準偏差の新しい推定値を計算できます（ステップ4）。
すべてのデータポイントを使用して平均と標準偏差を2回計算しますが、重み付けは異なります。1回目は赤の重み付け、もう1回は青の重み付けです。
直感の重要な点は、データポイントの色の重みが大きいほど、データポイントがその色のパラメーターの次の推定に影響を与えることです。これには、パラメーターを正しい方向に「引き寄せる」という効果があります。
def estimate_mean(data, weight):
"""
For each data point, multiply the point by the probability it
was drawn from the colour's distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among our data points.
"""
return np.sum(data * weight) / np.sum(weight)
def estimate_std(data, weight, mean):
"""
For each data point, multiply the point's squared difference
from a mean value by the probability it was drawn from
that distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among the values for the difference of
each data point from the mean.
This is the estimate of the variance, take the positive square
root to find the standard deviation.
"""
variance = np.sum(weight * (data - mean)**2) / np.sum(weight)
return np.sqrt(variance)
# new estimates for standard deviation
blue_std_guess = estimate_std(both_colours, blue_weight, blue_mean_guess)
red_std_guess = estimate_std(both_colours, red_weight, red_mean_guess)
# new estimates for mean
red_mean_guess = estimate_mean(both_colours, red_weight)
blue_mean_guess = estimate_mean(both_colours, blue_weight)
パラメータの新しい推定値があります。それらを再び改善するために、ステップ2に戻ってプロセスを繰り返すことができます。これは、推定値が収束するまで、またはいくつかの反復が実行された後（ステップ5）に行われます。
私たちのデータでは、このプロセスの最初の5回の反復は次のようになります（最近の反復の方が見た目が強くなっています）。
平均値は既にいくつかの値に収束しており、曲線の形状（標準偏差によって制御される）もより安定していることがわかります。
20回反復すると、次のようになります。
EMプロセスは次の値に収束しました。これは実際の値に非常に近いことがわかります（色を見ることができます-非表示の変数はありません）。
| EM guess | Actual | Delta
----------+----------+--------+-------
Red mean | 2.910 | 2.802 | 0.108
Red std | 0.854 | 0.871 | -0.017
Blue mean | 6.838 | 6.932 | -0.094
Blue std | 2.227 | 2.195 | 0.032
上記のコードでは、標準偏差の新しい推定値が、前の反復の平均値の推定値を使用して計算されていることに気付いたかもしれません。最終的には、いくつかの中心点の周りの値の（重み付けされた）分散を見つけるだけなので、最初に平均の新しい値を計算するかどうかは重要ではありません。パラメータの推定値は収束していることがわかります。