EMプロシージャは、多少の黒魔術として、未経験者には現れます。監視されたデータを使用して、HMMのパラメーターを推定します(たとえば)。次に、前後にタグ付けされたデータをデコードし、データが多少ともタグ付けされているかのようにイベントを「カウント」します。なぜこれがモデルを改善するのですか?私は数学について何かを知っていますが、私はそれのある種の精神的な絵を望み続けます。
EMプロシージャは、多少の黒魔術として、未経験者には現れます。監視されたデータを使用して、HMMのパラメーターを推定します(たとえば)。次に、前後にタグ付けされたデータをデコードし、データが多少ともタグ付けされているかのようにイベントを「カウント」します。なぜこれがモデルを改善するのですか?私は数学について何かを知っていますが、私はそれのある種の精神的な絵を望み続けます。
回答:
タイピングを保存するために、観測データ、欠落データZ(HMMの隠れ状態など)、およびQを見つけようとしているパラメーターベクトル(遷移/放出確率など)を呼び出します。
直感的な説明は、私たちが知っている瞬間をふり、我々は基本的にだますことです私たちは順番に私たちがためのMLE見つけることができますことをZの条件付き分布を見つけることができるようにQ(一瞬、我々は基本的に円形作っているという事実を無視します引数)、それから私たちがだましたことを認め、Qの新しい、より良い値を入れて、もうだまされる必要がなくなるまでやり直します。
少し技術的には、実際の値を知っているふりをすることにより、Zの条件付き分布について何かを知っているふりをすることができます。{ X 、Q }私たちは私たちの見積もり向上させることができます、Q我々は今の本当の価値であるふり、Q我々はの条件付き分布について何か知っているふりをすることができるようにZを| { X 、Q }私たちは私たちの見積もり向上させることができます、Q、...というようにします。
さらに技術的には、を知っていれば、log (f (Q | X 、Z ))を最大化して正しい答えを得ることができます。問題は、Zがわからないことであり、Qの推定はそれに依存する必要があります。しかし、Zの最適な推定値(または分布)を見つけるには、XとQを知る必要があります。独自のマキシマイザーが分析的に必要な場合、鶏と卵の状況に陥ります。
「アウト」とは、推定値(Q nと呼ぶ)に対して、Zの分布を見つけることができることです。{ Q n、X }であるため、予想されるQの対数尤度を最大化できます。{ X 、Z }の条件付分布に関して、Z | { Q n、X }。この条件付き分布は、基本的に、ZがXが与えられたQの現在の値にどのように依存するかを示しています。、と私たちは変更する方法を知ることができます両方のために私たちの可能性を高めるためにQとZの特定の値のため、同時にQ(私たちが呼んでいることをQ N)。新しいQ n + 1を選択すると、Z |の条件付き分布が異なります。{ Q n + 1、X }なので、期待値を再計算する必要があります。