隠れマルコフモデルの後方アルゴリズムについて説明する

私はViterbi and Forwardアルゴリズムを実装しましたが、不思議なことに、Backwardアルゴリズムがどのように機能するのか理解できません。直感的には、Forwardの伝播中に計算された値を使用して、Forwardと同じことを逆方向にのみ実行する必要があるように感じます。

私の直感は正しいですか？

この時点で、私は多くのスライドとうんざりする数学表記を読みました。それは助けにはなりません。わかりやすい英語で、BackwardアルゴリズムとForwardアルゴリズムの違いを説明できるものが必要です。

バックワードアルゴリズムはどのように行われるのですか？

次の小さなHMMと、以下の「BB」シーケンスの転送アルゴリズムの結果を想定します。

START -> 1
H: 0.5 * 0.8 = 0.4
L: 0.5 * 0.6 = 0.3

1 -> 2
H: 0.4 * 0.2 * 0.8 + 0.3 * 0.6 * 0.8 = 0.208
L: 0.4 * 0.8 * 0.6 + 0.3 * 0.4 * 0.6 = 0.264

2 -> END
END: 0.208 * 0.3 + 0.264 * 0.7 = 0.2472

観測シーケンスはB、Bのようです。レッツ表す時間で観測など時間で隠れ状態として。もし我々表す前進値ととしての下位値として、（可能な隠された状態の一つです）$t$$z_t$$t$$x_t$$\alpha_t(i)$$\beta_t(i)$$i$

$\alpha_t(i)=P(x_t=i,z_{1:t})$

つまり、は、時刻までに観測値を出力する時刻に状態に到達する確率です。そして、$\alpha_t(i)$$i$$t$$t$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i)$これは、時間で非表示状態後、から時間の終わりまでの残りのシーケンスを放出する確率です。$t+1$$i$$t$

を再帰的に実行するには、次のように記述します。$\beta_t(i)$

$P(z_{t+1:T}\mid x_t=i)=\sum\limits_jP(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i)$

チェーンルールを使用して、 $P(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i) = P(z_{t+2:T},z_{t+1},x_{t+1}=j\mid x_{t}=i)\\ =P(z_{t+2:T}\mid z_{t+1},x_{t+1}=j, x_{t}=i)P(z_{t+1}\mid x_{t+1}=j, x_{t}=i)P(x_{t+1}=j\mid x_{t}=i)$

HMMの条件付き独立性から、上記の確率は簡略化されます $P(z_{t+2:T}\mid x_{t+1}=j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_{t}=i)$

ここでの定義から、あることに注意してください。$P(z_{t+2:T}\mid x_{t+1}=j) =\beta_{t+1}(j)$

を代入すると、$P(z_{t+1:T}\mid x_t=i)$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i) = \sum\limits_j \beta_{t+1}(j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_t=i)$

これでベータ版の再帰ができました。モデルからわかっている最後の方程式の最後の2項。ここでは、チェーンの終わり（T）から、すべての、逆算アルゴリズムを実行します。前方では、最初から開始する必要があり、チェーンの最後に移動します。$\beta_t$

モデルでは、すべてのに対してを初期化する必要があります。これは、後で観測値を出力しない確率です。、I T = $\beta_T(i) = P(\emptyset \mid x_T=i)=1$$i$$T=2$