ワームとアップルの期待値

8

リンゴは五角形頂点 $A$ にあり、ワームは2つの頂点ます。ワームは毎日、隣接する2つの頂点の1つと同じ確率でクロールします。したがって1日後にワームが頂点である又は確率でそれぞれ、。2日後、以前の位置の記憶がないため、ワームは再びに戻る可能性があります。頂点に到達すると、食事を停止します。 $ABCDE$ $C$ $B$ $D$ $1/2$ $C$ $A$

（a）夕食までの日数の平均は何ですか？

（b）日数が $100$ 以上になる確率をpとする。マルコフの不等式はについて何と言ってい $p$ ますか？

（a）について、 $X$ 夕食までの日数で定義された確率変数とします。したがって、

P (X = 0) = 0 P (X = 1) = 0 P (X = 2) = \frac{1}{(\binom{5}{2})} ⋮

$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$

一般的な分布はどうなりますか？

（b）の場合、（a）がわかっていれば、

P (X \geq 100) \leq \frac{E (X)}{100}

$P(X \geq 100) \leq \frac{E(X)}{100}$

probability markov-process

— probguy3434
ソース

2

最初の方程式のセットを説明できますか？それらは、ワームが方向を逆転させる可能性を説明していないようであり、また正しいようにも見えません。結局のところ、は、確率を持つパスの可能性よりもはるかに小さいこの質問の要点は、期待値を計算するよりも完全な分布を取得することが難しい場合があることです。それでもマルコフの不等式は、期待だけから有用な情報を導き出すことを可能にします。

1 / (\binom{5}{2}) = 1 / 10

$1/\binom{5}{2}=1/10$

A \to B \to C

$A\to B\to C$

(1 / 2) (1 / 2) = 1 / 4.

$(1/2)(1/2)=1/4.$

— whuber

6

Glen_bの優れた回答では、線形方程式の単純なシステムを使用して分析的に期待値を計算できることを示しています。この分析メソッドに従うと、リンゴへの予想される移動回数は6回であると判断できます。whuberによる別の優れた答えは、任意の数の移動後のプロセスの確率質量関数を導き出す方法を示しています。また、この方法を使用して、期待値の分析ソリューションを取得することもできます。この問題についてさらに洞察を得たい場合は、循環ランダムウォークに関する論文を読んでください（たとえば、Stephens 1963を参照）。

問題の別の見方をするために、統計計算を使用してマルコフ連鎖を計算するだけの総当たり法を使用して同じ結果を得る方法を示します。この方法は多くの点で分析検査よりも劣りますが、大きな数学的な洞察を必要とせずに問題に対処できるという利点があります。

ブルートフォース計算方法：順に状態をとると、マルコフ連鎖は次の遷移行列に従って遷移します。 $A,B,C,D,E$

P = [\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \end{matrix}]

$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$

最初の状態は、ワームがリンゴにある吸収状態です。してみましょうワームが状態からリンゴに達するまでの移動の数である。次に、すべての、この数の移動後にワームがリンゴにいる確率はなので、この状態からリンゴに到達するために予想される移動数は次のとおりです。 $A$ $T_C$ $C$ $n \in \mathbb{N}$ $\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

E (T_{C}) = \sum_{n = 0}^{\infty} P (T_{C} > n) = \sum_{n = 0}^{\infty} (1 - {P^{n}}_{C, A}) .

$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$

合計の項は、が大きいと指数関数的に減少するため、有限数の項で合計を切り捨てることにより、期待値を任意の精度レベルで計算できます。（用語の指数関数的減衰により、削除された用語のサイズを望ましいレベル未満に制限することができます。）実際には、残りの用語のサイズが非常に小さくなるまで、多数の用語を取得するのは簡単です。 $n$

これをRでプログラミング：R以下のコードを使用して、これを関数としてプログラミングできます。このコードは、移動の有限シーケンスの遷移行列のべき乗の配列を生成するようにベクトル化されています。また、リンゴに到達していない確率のプロットを生成し、これが指数関数的に減少することを示しています。

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

この計算からわかるように、リンゴに到達するための予想される移動回数は6回です。マルコフ連鎖に対して上記のベクトル化されたコードを使用すると、この計算は非常に高速でした。

— ベン-モニカの復活
ソース

5

すべてのマルコフ連鎖ルーチンを経由せずに、パート（a）を見る簡単な方法を説明したいだけです。気になる状態のクラスは2つあります。1ステップ離れていることと2ステップ離れていることです（CとDは、Aに到達するまでの予想されるステップに関して同一であり、BとEは同一です）。" "が頂点からのステップ数などを表すとしましょう。 $S_B$ $B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

同様に、期待値の方程式を記述します。 $E(S_B)$

最初のものを2番目のものに（そして、便宜上、と書いて、解が数行で得られます。 $c$ $E(S_C)$ $c$

— Glen_b-モニカの復活
ソース

3

+1。私も開始状態のためPGFが等しいことを示し、同じように簡単に解決、あなたが同様の式を得る確率生成機能により期待を置き換えることにより、そのようなおよびそのリードを確率の単純な式に。より良い：をから始まるステップ数とします定義及び関係は、および後者を前者に代入すると、られしたがって、は

t^{2} / (4 - 2 t - t^{2}),

$t^2/(4-2t-t^2),$

X_{y}

$X_y$

y \in {A, B} .

$y\in\{A,B\}.$

f_{n} = 2^{n} Pr (X_{A} = n)

$f_n=2^n\Pr(X_A=n)$

g_{n} = 2^{n} Pr (X_{B} = n) .

$g_n=2^n\Pr(X_B=n).$

f_{n} = f_{n - 1} + g_{n - 1}

$f_n=f_{n-1}+g_{n-1}$

g_{n - 1} = f_{n - 2} .

$g_{n-1}=f_{n-2}.$

f_{n} = f_{n - 1} + f_{n - 2}

$f_n=f_{n-1}+f_{n-2}$

n \geq 3.

$n\ge 3.$

f_{n}

$f_n$

n - 2^{nd}

$n-2^\text{nd}$ フィボナッチ数。

— whuber

@whuber：コメントを完全な回答に変える必要があります-本当に良いです。

— ベン-モニカを復活させる'30年

1

この短い形式でも、回答として投稿する価値はあります。

— Glen_b-モニカを復元する

3

問題

このマルコフ連鎖は、ワームがあるかどうかで区別三つの状態、持っているまたはのスペースから離れレッツワームが到達するのにかかるどのように多くのステップを与える確率変数状態からそれらの確率生成関数は、これらの変数の確率をエンコードする便利な代数的方法です。収束などの分析の問題について心配する必要はありません。それらを、式与えられたシンボル正式なべき級数として表示するだけです。 $0,$ $1,$ $2$ $C.$ $X_i$ $C$ $i\in\{0,1,2\}.$ $t$

f_{i} (t) = Pr (X_{i} = 0) + Pr (X_{i} = 1) t^{1} + Pr (X_{i} = 2) t^{2} + \dots + Pr (X_{i} = n) t^{n} + \dots

$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$

のでそれことが自明であるを見つける必要があります $\Pr(X_0=0)=1,$ $f_0(t)=1.$ $f_2.$

分析と解決策

ワームは状態、状態戻る、または到達する確率がになります。この一歩を取るの会計処理追加のすべての権限に、等しいによってPGF乗算に与え、 $1,$ $1/2$ $2$ $C$ $1$ $t$ $t$

f_{1} = \frac{1}{2} t (f_{2} + f_{0}) .

$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$

同様に、状態からワームが等しい状態に滞在する機会有する又は状態到達そこを $2$ $2$ $1,$

f_{2} = \frac{1}{2} t (f_{2} + f_{1}) .

$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$

外観私たちの仕事は、変数導入することにより、容易に行われる示唆して与えます $t/2$ $x=t/2,$

f_{1} (x) = x (f_{2} (x) + f_{0} (x)); f_{2} (x) = x (f_{2} (x) + f_{1} (x)) .

$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$

最初のものを2番目のものにを呼び出すと、 $f_0=1$

$\begin{matrix} (*) & f_{2} (x) = x (f_{2} (x) + x (f_{2} (x) + 1)) \end{matrix}$ $f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$

そのユニークなソリューションは

\begin{matrix} (**) & f_{2} (x) = \frac{x^{2}}{1 - x - x^{2}} . \end{matrix}

$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$

方程式を強調して、その基本的な単純さと、予想される値のみを分析することで得られる方程式との形式的な類似性を強調しました。配布全体を取得します。 $(*)$ $E[X_i]:$

含意と単純化

同様に、が項ごとに書き出され、の累乗が一致する場合、 $(*)$ $t$ $n\ge 4,$

2^{n} Pr (X_{2} = n) = 2^{n - 1} Pr (X_{2} = n - 1) + 2^{n - 2} Pr (X_{2} = n - 2) .

$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$

これは有名なフィボナッチ数列の繰り返しです

(F_{n}) = (1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, \dots)

$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$

（からインデックス付け）。解の一致は、このシーケンスを2桁シフトしたものです（または可能性はなく、であることを確認するのは簡単です）。 $n=0$ $(**)$ $X_2=0$ $X_2=1$ $2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

したがって

$Pr (X_{2} = n) = 2^{- n - 2} F_{n - 2} .$ $\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$

すなわち、

\begin{aligned} f_{2} (t) & = 2^{- 2} F_{0} t^{2} + 2^{- 3} F_{1} t^{3} + 2^{- 4} F_{2} t^{4} + \dots \\ = \frac{1}{4} t^{2} + \frac{1}{8} t^{3} + \frac{2}{16} t^{4} + \frac{3}{32} t^{5} + \frac{5}{64} t^{6} + \frac{8}{128} t^{7} + \frac{13}{256} t^{8} + \dots . \end{aligned}

$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$

の期待値は、導関数を評価して置き換えることで簡単に見つかります。これは、（のべき乗を項ごとに微分する）これにより式 $X_2$ $f^\prime$ $t=1,$ $t$

f^{'} (1) = Pr (X_{2} = 0) (0) + Pr (X_{2} = 1) (1) 1^{0} + \dots + Pr (X_{2} = n) (n) 1^{n - 1} + \dots

$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$

これは、確率の合計にの値を正確に定義ですを使用して導関数を取得すると、期待値の単純な式が生成されます。 $X_2,$ $E[X_2].$ $(**)$

簡単なコメント

を部分分数として展開することにより、は2つの幾何級数の和として書くことができます。これにより、が指数関数的に減少する確率がすぐにます。また、テール確率閉形式も生成しこれを使用すると、が未満であることをすばやく計算でき $(**)$ $f_2$ $\Pr(X_2=n)$ $\Pr(X_2 \gt n).$ $\Pr(X_2 \ge 100)$ $10^{-9}.$

最後に、これらの式には黄金比この数は、正五角形（ユニット側の）の弦の長さであり、五角形上の純粋な組み合わせマルコフチェーン（ユークリッド幾何学については何も知らない）と、ユークリッド平面。 $\phi = (1 + \sqrt{5})/2.$

— whuber
ソース

1

夕食までの平均日数は、初日にとった歩数を条件に。ましょワームはリンゴを取得するまでの日数なります。してみましょう最初のステップとなります。 $X$ $F$

次に、

E [X] = E [X | F = B] [P (F = B)] + E [X | F = D] P [F = D]

$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$

最初のステップが場合、ワームは2日目に確率2分の1でリンゴを取得するか、確率2分の1で頂点戻り、最初からやり直します。これは次のように書くことができます $B,$ $C$

E [X | F = B] = 2 (\frac{1}{2}) + (2 + E [X]) (\frac{1}{2}) = 2 + \frac{E [X]}{2}

$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$

最初のステップが場合、対称性により、ワームが単一のステップを実行したことを除いて、これは頂点あるのと同じです。 $D,$ $C$

E [X | F = D] = 1 + E [X]

$E[X|F=D]=1+E[X]$

すべてをまとめると、

E [X] = (2 + \frac{E [X]}{2}) (\frac{1}{2}) + (1 + E [X]) (\frac{1}{2})

$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$

利回りの解決 $E[X]$

E [X] = 6

$E[X] = 6$

— Soakley
ソース

1

これは@Glen_bの答えを要約したようです。

— whuber