マルコフ連鎖とマルコフ過程の違いは何ですか？

16

私は矛盾する情報を読んでいます：時々、定義は状態空間が離散的であるか連続的であるかに基づいており、時にはそれは時間が離散的であるか連続的であるかに基づいています。

このドキュメントのスライド20：

状態空間が離散的、すなわち有限または可算空間である場合、すなわち有限または可算である場合、マルコフ過程はマルコフ連鎖と呼ばれます。

http://www.win.tue.nl/~iadan/que/h3.pdf：

マルコフ過程は、マルコフ連鎖の連続時間バージョンです。

または、マルコフ連鎖とマルコフプロセスを同義的に使用して、時間パラメータが連続的か離散的か、および状態空間が連続的か離散的かを正確に判断できます。

更新2017年3月4日：同じ質問がで頼まれたhttps://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

terminology stochastic-processes markov-process

— フランク・ダーノンクール
ソース

1

私の経験では、最初の定義は間違っています。マルコフ連鎖は、事後分布（MCMC）からのサンプリングのコンテキストでよく使用されます。これらの事後は、有限または連続状態空間で定義できます。したがって、最初の定義はおそらく間違っています。2つ目はより理にかなっています。しかし、私は頻繁にフレーズ、連続時間マルコフ連鎖を見たので、間に大きな違いはないと思います。

— グリーンパーカー

1

私が教科書から学んだことは、マルコフ過程が最も一般的な用語であり、マルコフ連鎖は時間離散であり、状態離散の特殊なケースであることを覚えています。

— ハイタオドゥ

8

Meyn and Tweedieによる「Markov Chains and Stochastic Stability」の序文から初版まで：

ここでは、マルコフ連鎖を扱います。Doob and Chung [99,71]が、離散時間パラメータと連続時間パラメータの両方を含む可算空間で進化するシステムにこの用語を予約しようとする最初の試みにもかかわらず、マルコフ連鎖が移動する使用法が定められたようです（たとえばRevuz [326]を参照）彼らが望むどんな空間でも、離散時間。そして、これがここで説明するシステムです。

編集：私の参考文献によって引用された参考文献は、それぞれ次のとおりです。

99：JL Doob。確率的プロセス。ジョン・ワイリー＆サンズ、ニューヨーク1953

71：KLチョン。定常遷移確率を持つマルコフ連鎖。スプリンガー出版、ベルリン、第2版、1967年。

326：D.レヴズ。マルコフ連鎖。北ホラント州、アムステルダム、第2版、1984年。

— テイラー
ソース

6

確率過程の分類の1つの方法は、time parameter（離散または連続）およびstate space（離散または連続）ます。これは、確率的プロセスの4つのカテゴリにつながります。

場合はstate space確率過程のは、ある個別のかどうか、time parameterです離散または連続、プロセスが通常と呼ばれるチェーン。

確率的プロセスが マルコフ特性を時間パラメーター（離散または連続）および状態空間（離散または連続）の性質に関係なく、マルコフ過程と呼ばれます。したがって、マルコフ過程には4つのカテゴリがあります。

A continuous time parameter、discrete state spaceマルコフ性を有する確率論的プロセスが呼び出され、連続的パラメータマルコフ連鎖（CTMC） 。

A discrete time parameter、discrete state spaceマルコフ性を有する確率論的プロセスが呼び出される離散パラメータマルコフ連鎖（DTMC） 。

同様に、他の2つのマルコフ過程を持つことができます。

更新2017-03-09：

Every independent increment process is a Markov process.

Poisson process独立した増分プロパティを持つことは、Markov process時間パラメータが連続的で状態空間が離散的であることです。

Brownian motion process独立した増分プロパティを持つことは、Markov process連続時間パラメーターと連続状態空間プロセスです。

— LVRao
ソース