2つの吸収マルコフチェーンがある場合、一方が他方より先に終了する確率はどれくらいですか？

2つの異なるマルコフチェーンがあり、それぞれに1つの吸収状態と既知の開始位置があります。チェーン1がチェーン2よりも少ないステップで吸収状態に達する確率を決定したいと思います。

特定のチェーンでnステップ後に吸収状態に達する確率を計算できると思います。遷移行列与えられた場合、ステップ後に吸収される確率はここで、は開始状態、は吸収状態です。。 $P$ $n$ $P^n_{ij}$ $i$ $j$

ここからどこへ行くかは定かではありません。私が見た類似の問題にはサイコロが含まれます（たとえば、合計が8の前に合計が7になる）が、特定の合計を振る確率は一定であり、これまでのステップ数とは無関係であるため、簡単に解決できます。

probability markov-chain transition-matrix

— ジェフ
ソース

チェーンを並列に実行します。 結果の製品チェーンで3つの吸収状態を定義します。

最初のチェーンは吸収状態に到達しますが、2番目のチェーンは到達しません。
2番目のチェーンは吸収状態になりますが、最初のチェーンはそうではありません。
両方のチェーンが同時に吸収状態になります。

製品チェーンにおけるこれらの3つの状態の制限確率は、関心の機会を与えます。

このソリューションには、いくつかの（単純な）構成が含まれます。問題のように、聞かせてチェーン用の遷移行列である。チェーンが状態場合、は状態への遷移の確率を与えます。吸収状態が確率で自身に遷移させる。 $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

任意の状態することができる吸収作ら行交換時のインジケータベクターによって位の。 $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
吸収状態の任意のセットは、状態がである新しいチェーンを作成することによってマージできます。 $A$ $\mathcal{P}/A$ 。遷移行列は $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
列の合計に対して、この量対応する及び行を交換は対応自体に遷移する単一の行によって。 $\mathbb{P}$ $A$ $A$
$\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
実際には、製品チェーンは2つのチェーンを並行して実行し、それぞれがどこにあるかを個別に追跡し、独立して遷移を行います。

$p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

$(1-p,p)$

$\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ 最後の2つの結果が両方とも頭であったことを意味します-これは吸収状態です。遷移行列は

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

$(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

$\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

$(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

$(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

$n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

$(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

$p$

— whuber
ソース

とてもきちんとした例、これに感謝します。詳細を調べて自分で確認しています。ただ質問：ここでは、2つのイベント（PollyとQuincyのスロー）が同時に発生していると想定しました。それらを順次にした場合、または次にスローする人を毎回ランダムに選択した場合、どれだけの違いが生じるでしょうか。

— user929304 2016年

@ user929304おそらく実質的には異なる答えを得るでしょう。たとえば、PとQが、状態がサブセットAとBに分割されているチェーンを実行していると仮定します。ここで、AからBへのすべての遷移と、BからAへのすべての遷移です。PとQの両方をAの状態から開始します。 AとBが同時に交互に入れ替わるプロダクトチェーンですが、シーケンシャルチェーンとランダムチョイスチェーンはその不変パターンを壊します。

— whuber