マルコフ連鎖が既約であるとどうしてわかりますか？

12

還元不可能なマルコフ連鎖特性を理解するのに問題があります。

還元不可能とは、確率論的プロセスが「任意の状態から任意の状態に進む」ことができることを意味すると言われています。

しかし、それが状態から状態に移行できるかどうか、または移行できないかどうかはどう定義されていますか？ $i$ $j$

状態あるアクセス（書き込み状態から）整数存在する場合、 ST $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

その後、通信があればあると。 $i\rightarrow j$ $j \rightarrow i$

これらの既約性はどういうわけか続きます。

stochastic-processes markov-process

— mavavilj
ソース

「アクセシビリティ」の直感とは何ですか？条件付きの確率で何かが「アクセス可能」になる理由がわかりませんか？

— mavavilj

アクセシビリティの点から見るかもしれません。状態からアクセスできないと言われているからそこに取得する見込みがない場合はのステップの任意の数のためである、、このイベントの確率は依然として。アクセシビリティを定義するには、クォンターを切り替える必要があります。つまり、を、を切り替え（確率は正なので、と同じです）。

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci

12

遷移行列の3つの例を次に示します。最初の2つは可約ケース、最後の1つは既約ケースです。

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ について、あなたが状態3又は4である場合、あなたはそこに滞在し、状態1と2も同じです。たとえば、状態1から状態3または4に移行する方法はありません。

P_{1}

$P_1$

、あなたは国から1〜3いずれかの状態に到達することができますが、状態4にいると、あなたはそこに滞在します。このためたとえば、どの状態から始めても、必ずしも1ステップである必要はありませんが、他の状態に到達することができます。 $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— クリストフ・ハンク
ソース

5

状態状態からアクセス可能であると言われている（通常で示される一部が存在する場合）ように：つまり、状態から状態にステップで確率到達できます。 $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

と両方がtrueの場合、状態と通信します（通常、示されます）。したがって、2つの状態がそれぞれ通信する場合、マルコフ連鎖は既約です。 $i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
ソース

あるで電力またはインデックスは？

n

$n$

p_{i j}^{n}

$p_{ij}^n$

— mavavilj

インデックスです。ただし、解釈があります。が遷移確率行列である場合、はの番目の要素です（はべき乗です）。。

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

— nmerci

2

してみましょうとマルコフ連鎖の二つの異なる状態であること。プロセスが状態から状態に移行する確率がある程度ある場合（ステップ数が1、2、3、）、状態は状態からアクセス可能であると言います。 $i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

表記上、これをと表します。確率に関しては、次のように表されますような整数が存在する場合、状態は状態からアクセス可能です。 $i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

同様に、ような整数が存在する場合、と言い。 $j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

ここで、と両方がtrueの場合、状態と相互に通信し、表記法では表現されます。確率に関しては、これは2つの整数が存在することを意味しようと。 $i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

マルコフ連鎖のすべての状態が1つの閉じた通信クラスに属している場合、その連鎖は既約マルコフ連鎖と呼ばれます。既約性はチェーンの特性です。

既約マルコフ連鎖では、必要なステップ数に関係なく、プロセスは任意の状態から任意の状態に移行できます。

— LVRao
ソース

1

既存の回答のいくつかは私には正しくないようです。

J. Medhiによる確率的プロセス（79ページ、第4版）で言及されているように、マルコフチェーンは、状態空間以外の適切な「閉じた」サブセットが含まれていない場合、既約にすることができません。

したがって、遷移確率行列に、それらの状態以外の状態に「到達」（またはアクセス）できないような状態のサブセットがある場合、マルコフ連鎖は還元可能です。そうでなければ、マルコフ連鎖は既約です。

— コズミック
ソース

-1

最初の警告：重大な理由がない限り、マトリックスを見ないでください。誤って入力した数字をチェックするか、教科書を読むことだけが考えられます。

場合お使いの遷移行列で、コンピュート。すべてのエントリがゼロ以外の場合、行列は既約です。そうでなければ、それは還元可能です。場合は大きすぎると、計算とすることができますように大など。同じテストですが、少し精度が落ちます。 $P$ $\exp(P)$ $P$ $P^n$ $n$

既約性とは、有限のステップ数で任意の状態から任意の状態に移行できることを意味します。

クリストフ・ハンクの例では、状態1から状態6に直接進むことはできませんが、1-> 2-> 6に進むことはできます。 $P_3$

— タイタス
ソース

1

「状態から状態移動できる」はどのように定義しますか？

i

$i$

j

$j$

— mavavilj

1

あなたは本当に先生に尋ねる必要があります。彼はあなたを食べるつもりはありません、あなたは知っています。

— titus

exp（P）を使用する場合、マトリックス指数を参照していますか？または、ここでi、jは行列Pのij項ですか？

e^{P_{i j}}

$e^{P_{ij}}$

— Hunle

私はマトリックス指数について言及しています

— タイタス'12年