ガンマ分散待機時間を備えた有限状態マシン

正と負の入力を持つステートマシンがあります。正の入力間の時間はガンマ分布に従い（）、負の入力間の時間は異なるガンマ分布に従います（）。したがって、一定の時間間隔で正と負の入力を受け取る確率は、すべてのについて正確にます。ステートマシンを以下に示します。$X_+ \sim \Gamma(k_+, \theta_+)$$X_- \sim \Gamma(k_-, \theta_-)$$K$$K$

青いボックスはマシンで達成可能な状態を表し、実線と破線はそれぞれ正と負の入力を表します。たとえば、マシンが状態3にあり、正の入力が到着した場合、マシンは正の出力を生成し、状態2にリセットされます。その後、マシンが負の入力を受け取ると、出力を生成せずに状態1に移行します。

ポジティブ出力のPMFを見つけることは可能ですか？つまり、すべてのについて同じ時間間隔で正の出力が得られる確率はどれくらいですか。$K$$K$

これは問題に完全に答える試みではなく、適用できない特別なケース（長すぎてコメントを入力できないケース）のマルコフプロパティの欠如を克服する方法を示すことに注意してください。

残念ながら、ご存じのとおり、これはマルコフ過程ではなく、セミマルコフ過程です。a）整数とがあり、b）状態空間を拡大する場合は、ガンマ分布がErlang分布になり、Erlang変量がiidの合計であることを使用して、これをマルコフプロセスに変換できます。元のErlang変量と同じスケールパラメーターを持つ指数変量。$k_+$$k_-$

状態空間を拡張して、「+状態」と「-状態」という2つの新しい変数を含めることができます。これらは、次の正または負の到着を生成する際の「どこまで」を記録します。具体的には、と仮定します。次の正の到着は、5つの連続する指数到着の5番目が発生したときに発生するため、「+状態」は、最後の正の入力以降に発生した正の到着の数を記録します。「+状態」の値のシーケンスはです。状態はまたはにのみ遷移でき、状態はまたはのみ遷移できます。$k_+ = 5$$\{0, 1, 2, 3, 4, 0, 1, ...\}$$0$$0$$1$$4$$4$$0$

状態空間は、プロセスがどのボックスにあるか、正の到着がモジュラスで発生した数、負の到着がモジュラス発生した数がます。$[\text{BoxID},+,-]$$k_+$$k_-$

これで2つのランダムな変量があります-次の「+状態」遷移までの時間と次の「-状態」遷移までの時間-どちらも指数分布します。2つの独立した指数変量の最小値はそれ自体が指数関数であるため、（任意のタイプの）次の遷移までの時間は、2つの成分レートの合計に等しいレートの指数関数です（またはガンマ分布がどのようにパラメーター化されているかに応じて）。次の遷移が「+状態」遷移である確率は、単にまたは$\theta_+ + \theta_-$$1/\theta_+ + 1/\theta_-$$\theta_+/(\theta_+ + \theta_-)$$1/\theta_+ / (1/\theta_+ + 1/\theta_-)$、これもガンマ分布のパラメーター化の方法に応じて異なります。次の遷移までの時間が指数分布になっている場合、標準的な方法で分析できるCTMC（連続時間マルコフチェーン）があります。

具体的な例として、正の到着が時間単位の割合で発生し、負の到着が時間単位の割合で発生すると仮定します。次の遷移までの時間は、時間の単位が指数関数であり、遷移が正の到着によってトリガーされる確率はです。$0.5/$$0.25/$$0.75/$$0.5/(0.5+0.25) = 2/3$

これで、非常に拡大された状態空間ができました。初期ダイアグラムの各ボックスには内部に状態がありますが、少なくともMarkovプロパティがあり、ボックス3にある定常状態の確率と"+ state" =、つまり、出力が正になる遷移を経験できる状態の1つ。これらの定常状態の確率と遷移行列および遷移間の平均時間を組み合わせることにより、正の出力を確認する長期的な平均レートが得られます。また、定常状態の確率、遷移行列、および遷移間の時間には既知のレートの指数分布があるという事実を使用して、目的の確率分布を計算することもできます。$k_+k_-$$k_+-1$