EM、直感的な説明はありますか?


16

EMプロシージャは、多少の黒魔術として、未経験者には現れます。監視されたデータを使用して、HMMのパラメーターを推定します(たとえば)。次に、前後にタグ付けされたデータをデコードし、データが多少ともタグ付けされているかのようにイベントを「カウント」します。なぜこれがモデルを改善するのですか?私は数学について何かを知っていますが、私はそれのある種の精神的な絵を望み続けます。


確かではありませんが、確率的勾配降下最適化手順として解釈することは可能だと思います。私は...それについて考えましょう
ロビンはジラール

回答:


12

タイピングを保存するために、観測データ、欠落データZ(HMMの隠れ状態など)、およびQを見つけようとしているパラメーターベクトル(遷移/放出確率など)を呼び出します。XZQ

直感的な説明は、私たちが知っている瞬間をふり、我々は基本的にだますことです私たちは順番に私たちがためのMLE見つけることができますことをZの条件付き分布を見つけることができるようにQ(一瞬、我々は基本的に円形作っているという事実を無視します引数)、それから私たちがだましたことを認め、Qの新しい、より良い値を入れて、もうだまされる必要がなくなるまでやり直します。QQQ

少し技術的には、実際の値を知っているふりをすることにより、Zの条件付き分布について何かを知っているふりをすることができます{ X Q }私たちは私たちの見積もり向上させることができます、Q我々は今の本当の価値であるふり、Q我々はの条件付き分布について何か知っているふりをすることができるようにZを| { X Q }私たちは私たちの見積もり向上させることができます、Q、...というようにします。QZ|{X,Q}QQZ|{X,Q}Q

さらに技術的には、を知っていれば、log f Q | X Z を最大化して正しい答えを得ることができます。問題は、Zがわからないことであり、Qの推定はそれに依存する必要があります。しかし、Zの最適な推定値(または分布)を見つけるには、XQを知る必要があります。独自のマキシマイザーが分析的に必要な場合、鶏と卵の状況に陥ります。Zlog(f(Q|X,Z))ZQZXQ

「アウト」とは、推定値(Q nと呼ぶ)に対してZの分布を見つけることができることです{ Q nX }であるため、予想されるQの対数尤度を最大化できます{ X Z }の条件付分布に関して、Z | { Q nX }。この条件付き分布は、基本的に、ZがXが与えられたQの現在の値にどのように依存するかを示しています。QQnZ|{Qn,X}Q|{X,Z}Z|{Qn,X}ZQバツ、と私たちは変更する方法を知ることができます両方のために私たちの可能性を高めるためにQZの特定の値のため、同時にQ(私たちが呼んでいることをQ N)。新しいQ n + 1を選択すると、Z |の条件付き分布が異なります{ Q n + 1X }なので、期待値を再計算する必要があります。QQZQQnQn+1Z|{Qn+1,X}

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.