隠れマルコフモデルと期待値最大化アルゴリズム

10

誰かが隠れマルコフモデルが期待値の最大化とどのように関連しているかを明確にできますか？私は多くのリンクを通過しましたが、明確なビューを思い付くことができませんでした。

ありがとう！

markov-process expectation-maximization hidden-markov-model

— thchand
ソース

12

EMアルゴリズム（期待値最大化）は、モデルが観測されたコンポーネントと観測されていない（潜在的な）コンポーネントに関して確率論的に指定されている場合に、尤度関数を最適化するための一般的なアルゴリズムです。HMM（隠れマルコフモデル）は、この形式のモデルです。これには、観測されていないコンポーネント、隠れた状態があり、実際の観測はHMM用語でエミッションと呼ばれることが多いためです。したがって、HMMは、EMアルゴリズムが役立つモデルのクラスを形成します。

$(X,Y)$ $p_{\theta}(x,y)$ $\theta$ $X = x$

L_{x} (θ) = \sum_{y} p_{θ} (x, y) .

$L_x(\theta) = \sum_{y} p_{\theta}(x,y).$

θ

$\theta$

$x$ $\theta$
M-ステップ最大化され、

EMアルゴリズムは、上記の2つのステップを計算効率の高い方法で実装できる場合に最も意味があります。たとえば、条件付き期待値と最大化の閉形式の式がある場合などです。

歴史的に、一般的なEMアルゴリズムは、特に1977年の論文でアルゴリズムが単調に増加する尤度値を持つパラメーターのシーケンスにつながることを証明したDempster、Laird、およびRubinの功績が認められています。彼らはまた、「EMアルゴリズム」という用語を作り出した。興味深いことに、HMMのEMアルゴリズムはBaumらによって 1970年にすでに説明されています。、また、HMMの文献ではBaum-Welchアルゴリズムとも呼ばれています（Welchが何をしたのか正確にはわかりません...）。

— NRH
ソース

3

ウェルチは、現在Baum-Welchアルゴリズムと呼ばれるものを発明しました（彼はそれを「簡単な部分」と呼んでいます）。バウムは、アルゴリズムが機能することを数学的に証明します（「難しい部分」）。正確な詳細については、courses.cs.tamu.edu / rgutier / cpsc689_s07 / welch2003baumWelch.pdfを参照してください。

— ミハイルコロボフ2013年

@MikhailKorobov、この有益な参照をありがとう。

— NRH 2013年

2

期待値の最大化は、さまざまな生成統計モデル、たとえばガウス混合モデルと他のベイジアンネットワークタイプモデルの統計的推論を実行するために使用される反復法です。唯一の関係は、HMMもベイジアンネットワークであることです。しかし、ビタビアルゴリズムと呼ばれるHMM内の推論のための正確なアルゴリズムがあるため、おそらくHMMでEMを使用しないでしょう。したがって、EMを使用してHMMで推論を実行することはできますが、理由がないため、そうすることはできません。

— ウィリアム
ソース

4

2つの異なる種類の「推論」を混在させるため、これは完全に正確ではありません。EMは未知のパラメータを推定するためのアルゴリズムであり、ビタビは隠れた状態の最も可能性の高いシーケンスを計算するためのアルゴリズムです。実際、パラメータ推定にはHMMにEMを使用します。私は、EMアルゴリズムの詳細を、HMMとEMの関係を説明する歴史的参考資料とともに提供しました。

— NRH

0

HMMでは、主に3つのパラメーターを推定します。

$K$ $K$
$K\times K$
$K\times N$ $N$

さて、EMパーツは、上記の量/パラメータを推定しようとすると発生します。ランダムな推測から始めて、観測の可能性が評価され、最大の可能性が得られるまでパラメーターが繰り返し調整されます。したがって、HMMを介していくつかのプロセスをモデル化し、そのためにいくつかのパラメーターを導入する必要があります。パラメータを推定するために、EMがレンダリングされます。

これは非常に短い答えです。EMを実装するには、一連の手法で解決するために、他の多くのサブ問題が必要です。詳細を理解するには、Rabinerのクラシックチュートリアルペーパーを強くお勧めします。

— リアズ・カーン
ソース