前の状態にのみ依存するマルコフ過程

誰かが私の理解を確認してくれるか、何か不足しているのかどうかを確認してください。

markovプロセスの定義では、次のステップは現在の状態のみに依存し、過去の状態には依存しないと述べています。したがって、a、b、c、dの状態空間があり、a-> b-> c-> dから進んだとしましょう。つまり、dへの遷移は、cにいたという事実にのみ依存するということです。

しかし、モデルをより複雑にし、この制限を「回避」することができるのは本当ですか？つまり、状態空間がaa、ab、ac、ad、ba、bb、bc、bd、ca、cb、cc、cd、da、db、dc、ddの場合、新しい状態空間は前の状態と現在の状態を組み合わせると、上記の遷移は* a-> ab-> bc-> cdになり、したがってcdへの遷移（前のモデルではdと同等）は、次の状態に「依存」します。別にモデル化された場合、以前の状態です（以下ではサブ状態と呼びます）。

「以前の状態（サブ状態）に依存する」（サブ状態が実際の状態ではなくなったため、技術的には新しいモデルにないことを知っています）を展開してmarkovプロパティを維持できるという点で正しいですか私がしたように状態空間？したがって、実際には、任意の数の以前のサブ状態に依存する可能性があるmarkovプロセスを作成できます。

技術的には、説明するプロセスは両方ともマルコフチェーンです。違いは、最初のものは一次マルコフ連鎖であり、二番目のものは二次マルコフ連鎖であるということです。そして、はい、状態空間定義の適切な変更により、2次マルコフ連鎖を1次マルコフ連鎖に変換できます。例で説明させてください。

天気を確率的プロセスとしてモデル化し、特定の日に天気が雨、晴れ、または曇りになる可能性があると仮定します。してみましょう任意の特定の日の天気も、私たちがシンボルで可能な状態を示すものと（雨用）、（晴れ）とのために（曇りのため）。 R S $W_t$$R$$S$$C$

一次マルコフ連鎖

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

二次マルコフ連鎖

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

2次マルコフチェーンは、次のように状態空間を再定義する1次マルコフチェーンに変換できます。定義：

$Z_{t-1,t}$は2日間連続の天気です。

つまり、状態空間は次のいずれかの値を取ることができますR C R S C R C C C S S S R S C S $RR$、、、、、、、および。この再定義された状態空間では、次のものがあります。$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

上記は明らかに、再定義された状態空間上の一次マルコフ連鎖です。2次マルコフチェーンとの1つの違いは、再定義されたマルコフチェーンは、2つの初期開始状態で指定する必要があることです。

markovプロセスの定義では、次のステップは現在の状態のみに依存し、過去の状態には依存しないと述べています。

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

この分野は静かに急速に進んでいるので、高次多変量マルコフ連鎖などの最近の論文とその応用をご覧ください。