マルコフ連鎖とは何ですか？

私は現在、マルコフチェーンの集中についていくつかの論文を読んでおり、マルコフチェーンと単純な有向加重グラフの違いを確認できません。

たとえば、記事「マルコフチェーンにおける最適な状態空間の集中」では、CTMC（連続時間マルコフチェーン）の次の定義を提供しています。

状態空間が有限CTMC を 遷移率行列 。$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

彼らはマルコフプロパティにまったく言及しておらず、実際、エッジの重みが確率を表す場合、確率はチェーンの現在の状態のみに依存し、パスを導くパスに依存しないため、マルコフプロパティは自明であると信じていますそれに。

他の記事では、一括性のリレーショナルプロパティについてマルコフチェーンが同様に定義されています。

マルコフ連鎖は、トリプレットとして表されます。 ここで、は有限状態セットであり、は、ある状態から別の状態に移行する確率を示す遷移確率行列であり、はシステムが特定の状態で開始する可能性を表す初期確率分布。$M$$(S, P, \pi)$$S$$M$$P$$\pi$

繰り返しになりますが、過去、未来、独立についての言及はありません。

3番目の論文Simple O（m logn）Time Markov Chain Lumpingがあります。そこでは、エッジの重みが確率であるとは述べられていないだけでなく、次のようにさえ述べています。

多くのアプリケーションでは、値は負ではありません。ただし、が意図的にとして選択され、通常は負になるアプリケーションも存在するため、この仮定は行いません。$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

さらに、一括は、マルコフプロパティを維持しながら状態の数を減らす方法である必要があると述べられています（「同等の」状態をより大きな状態に集約することによって）。しかし、私にとっては、それは単に確率を合計しているように見え、集約された状態への/からの遷移の結果の可能性が範囲内であることを保証するものでもありません。一括処理は実際に何を保存しますか？$[0,1]$

したがって、私が見る可能性は2つあります。

• マルコフ連鎖が何であるか理解できなかった、または
• それらの論文でのマルコフ連鎖という用語の使用は偽物です

誰かが状況を明確にできますか？

その用語を使用しているさまざまなコミュニティが実際にあるように見え、それらは大きく異なることを意味しています。これら3つの記事から、マルコフプロパティは取るに足らないか役に立たないかのように見えますが、別の種類の論文を見ると、基本的なように見えます。

連続時間マルコフ連鎖は、一定の非ネガティブエッジの重み付き有向グラフとして表すことができます。ノードを持つ有向グラフの一定のエッジの重みの同等の表現は、行列です。マルコフ性は、（将来の状態は、現在の状態に依存すること）である暗黙の定数エッジの重み（またはマトリックス内で一定のエントリ）です。 暗黙的とは、によって暗示されることを意味します。数学者はこれを婉曲表現の意味として使用し、「自分で証明する必要があります」。N × $N$$N \times N$

ただし、最初の論文では、連続時間マルコフチェーン（Markov Processとも呼ばれる）と一致する表記法を定義し、2番目の論文では、離散時間マルコフチェーンと一致する表記法を定義します。彼らが言う

$P$は、ある状態から別の状態に移行する確率を示す遷移確率行列であり、は、システムが特定の状態で開始する可能性を表す初期確率分布です。【強調追加】$\pi$

彼らは、マトリックスが時間とともに一定であると仮定しています（したがって、マルコフプロパティを意味します）。確率という用語に含まれるのは、各定数が範囲にあるということです$[0,1]$$P$$1$$\pi$$1$

私は3番目の論文を読むことができません、それはペイウォールです。行列のすべての列のエントリを合計して1にする必要がある場合、それらは確率であり、離散時間マルコフ連鎖について話していることになります。すべての列のエントリの合計が任意の数になる可能性がある場合、エントリは確率ではなくレートを表し、連続時間マルコフ連鎖について話しています。

$1$

連続時間と離散時間の両方のマルコフチェーンでは、マルコフプロパティは一定のエッジの重み（または遷移行列の定数エントリと同等）によって暗示されます。

マルコフ連鎖には、連続時間と離散時間の2つの種類があります。

連続時間マルコフチェーン（CTMC）と離散時間マルコフチェーン（DTMC）の両方は、有向加重グラフとして表されます。

DTMCの場合、遷移には常に「時間」の1単位がかかります。結果として、アークの重みをどのようにするかを選択することはできません。「i」にいる場合、「j」に移動する確率を指定します。

CTMCの場合、2つの状態間の遷移時間は必ず指数確率変数によって与えられます。これは、CTMCとDTMCの主な違いです。DTMCには常にユニット遷移時間があります。CTMCの遷移時間はランダムです。

CTMCの場合、規則は通常、ソースから宛先に移動する指数確率変数の比率に従って、アークに重みを付けることです。つまり、慣習は確率ではなく円弧にレートを付けることです。

負のレート

私が思い出すすべてのCTMCはエッジで正の率で表されましたが、CTMC分析では負の率が出てきます。

次のようにB、C、Dに接続されているステートAに立っているとします。

A-> B（B から A への比率は負）A-> C（C から A への比率は負）D-> A（D から A への比率は正）

これはおそらくあなたの論文が言及しているものとはまったく異なります。誰かが適切な慣習で働いていたとしても、負の重みが必ずしもばかげているとは限らないことを示すために取り上げます。

マルコフプロパティ

DTMCについては、そのとおりです。マルコフ特性は、ささいに満たされます。CTMCの場合、遷移は指数ランダム変数（「メモリレス」）によって与えられるため、markovプロパティは満たされます。遷移が指数確率変数によって与えられなかった場合（たとえば、それらが均一であった場合）は、「セミマルコフ連鎖」または「セミマルコフプロセス」について話していることになります。