ベイジアンネットワークとマルコフ過程の違いは？

28

ベイジアンネットワークとマルコフプロセスの違いは何ですか？

私は両方の原則を理解していると信じていましたが、今、2つを比較する必要があるとき、私は失われたと感じます。それらは私にとってほぼ同じ意味です。確かにそうではありません。

他のリソースへのリンクも歓迎します。

— ロックスター
ソース

このサイトで誰かが私に言ったのを覚えています、ベイジアンネットワークは必ずしもベイジアン推論を必要としません。それらの名前はベイズ規則に由来します。

— ティム

21

確率的グラフィカルモデル（PGM）は、コンパクト確率変数のセットに対して同時分布と（で）依存関係をモデル化するグラフ形式主義です。PGMは、基礎となるグラフが方向付けられている場合、ベイジアンネットワークと呼ばれ、マルコフネットワーク/マルコフランダムフィールド基になるグラフが無向の場合。一般的に、前者を使用して明確な方向性を持つ変数間の確率的影響をモデル化し、そうでない場合は後者を使用します。PGMの両方のバージョンでは、関連するグラフにエッジがないことは、エンコードされた分布の条件付き独立性を表していますが、正確なセマンティクスは異なります。「マルコフネットワーク」の「マルコフは」確率変数の集合であることのPGMによってコードされた条件付き独立の一般的な概念を指し、他人に依存しない「重要な」変数のいくつかのセットを与えられた（技術的な名前があるマルコフブランケット）、つまり。 $x_A$ $x_C$ $x_B$ $p(x_A|x_B, x_C) = p(x_A|x_B)$

マルコフ過程は、任意の確率過程であるを満たすことがマルコフ性。ここでは、（スカラー）ランダム変数コレクションに重点が置かれています通常は、時間によってインデックス付けされ、特定の種類の条件付き独立性を満たしていると考えられおおまかに言えば、です。これは、PGMで定義された「Markov」概念の特殊なケースです。単純にのセットを取得し、をサブセットとして取得しますで、前のステートメントを呼び出します $\{X_{t}\}$ $X_1, X_2, X_3, ...$ $p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$ $A=\{t+1\}, B=\{t\}$ $C$ $\{t-1, t-2, ..., 1\}$ $p(x_A|x_B, x_C) = p(x_A|x_B)$ 。これから、変数のマルコフブランケットがその前身であるます。 $X_{t+1}$ $X_t$

したがって、時間でインデックス付けされた線形チェーンとしてベイジアンネットワークでマルコフプロセスを表すことができます（簡単にするために、ここでは離散時間/状態のケースのみを考えます; BishopのPRMLブックからの写真）：この種のベイジアンネットワークはダイナミックベイジアンネットワーク。ベイジアンネットワークなので（PGM）、確率的推論に標準のPGMアルゴリズム（Chapman-Kolmogorov方程式が特別なケースを表す和積アルゴリズムなど）とパラメーター推定（沸騰する最尤など）を適用できます。単純なカウントに至るまで）このアプリケーションの例は、HMMおよびn-gram言語モデルです。

多くの場合、このようなマルコフ連鎖の図式描写が表示されます

ノードはランダム変数ではなく、チェーンの状態空間の要素であるため、これはPGMではありません。エッジは、2つの連続した状態間の（ゼロ以外の）遷移確率に対応します。このグラフは、チェーンPGM のCPT（条件付き確率テーブル）を記述するものと考えることもできます。このマルコフ連鎖は、各タイムスタンプでの世界の状態を単一のランダム変数（Mood）としてのみエンコードします。世界の他の相互作用する側面（ある人の健康や収入など）をキャプチャし、をランダム変数のベクトルとして扱う場合 $p(X_t|X_{t-1})$ $X_t$ $(X_t^{(1)},...X_t^{(D)})$ ？これは、PGM（特に、動的ベイジアンネットワーク）が役立つ場所です。複雑な分布をモデル化でき通常2TBN（2タイムスライスベイジアンネットワーク）と呼ばれる条件付きベイジアンネットワークを使用します。これは単純なチェーンベイジアンネットワークのより洗練されたバージョンと考えることができます。 $p(X_t^{(1)},...X_t^{(D)}|X_{t-1}^{(1)},...X_{t-1}^{(D)})$

TL; DR：ベイジアンネットワークは、有向（非循環）グラフを使用して、因子の確率分布と一連の変数に対する関連する条件付き独立性を表す一種のPGM（確率的グラフィカルモデル）です。マルコフ過程は、「未来は現在から与えられた過去から独立している」という性質を持つ確率過程（通常、ランダム変数の集合と考えられます）です。単一の「テンプレート」確率変数時間（）の進化の研究に重点が置かれています。（スカラー）マルコフプロセスは、特定の条件付き独立プロパティ定義します $X_t$ $t \to \infty$ $p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$ したがって、動的ベイジアンネットワークは、PGMの完全な表現力を活用して、時間にわたる複数のランダム変数（つまり、ランダムベクトル）間の相互作用をモデル化できますが、チェーンベイジアンネットワークによって簡単に表すことができます。これに関する優れたリファレンスは、Daphne KollerのPGM本の第6章です。

— ヤン・イボ
ソース

17

最初にマルコフ過程についていくつかの言葉。状態空間（離散/連続）および時間変数（離散/連続）に応じて、その獣には4つの異なるフレーバーがあります。マルコフ過程の一般的な考え方は、「現在を考えると、未来は過去から独立している」というものです。

最も単純なマルコフ過程は、離散空間および有限空間、離散時間マルコフ連鎖です。ノードのセットとして視覚化でき、ノード間にエッジを向けます。グラフには、サイクル、さらにはループがある場合があります。各エッジで、0から1の間の数を書き込むことができます。そのような方法で、そのノードから出ているエッジの各ノード番号が1になります。

次に、次のプロセスを想像してください。特定の状態Aで開始します。1秒ごとに、現在の状態から出力エッジをランダムに選択します。そのエッジを選択する確率は、そのエッジの数に等しくなります。このようにして、状態のシーケンスをランダムに生成します。

そのようなプロセスの非常にクールな視覚化は、ここで見つけることができます：http : //setosa.io/blog/2014/07/26/markov-chains/

テイクアウェイメッセージは、離散空間離散時間マルコフプロセスのグラフィカル表現が一般的なグラフであり、グラフのノードのシーケンスの分布を表します（開始ノードまたはノードの開始分布が与えられた場合）。

一方、ベイジアンネットワークは、いくつかの結合確率分布の因数分解を表すDAG（Directed Acyclic Graph）です。通常、この表現では、いくつかの変数間の条件付き独立性を考慮して、グラフを単純化し、結合確率分布の推定に必要なパラメーターの数を減らします。

— sjm.majewski
ソース

3

同じ質問に対する答えを探していたときに、これらの答えに出会いました。しかし、それらのどれもトピックを明確にしません。良い説明を見つけたとき、私と同じように考えている人々と共有したかった。

Judea Pearl著「インテリジェントシステムの確率論的推論：もっともらしい推論のネットワーク」、第3章：マルコフおよびベイジアンネットワーク：確率的知識の2つのグラフィカル表現、p.116：

マルコフネットワークの主な弱点は、誘導および非推移的な依存関係を表現できないことです。他の変数が両方に依存しているという理由だけで、2つの独立変数はエッジによって直接接続されます。その結果、多くの有用な独立性がネットワークで表現されなくなります。この欠点を克服するために、ベイジアンネットワークは、より豊富な言語を使用向ける矢印の向きは、仮想的な観測によって誘発される偽の依存関係から本物の依存関係を区別するために私達を許可するグラフを、。

— ベジール
ソース

1

マルコフ過程は、マルコフ性を持つ確率過程です（インデックスが時間の場合、マルコフ性は特別な条件付き独立性であり、現在、過去、未来は独立していると言えます）。

ベイジアンネットワークは、有向のグラフィカルモデルです。（マルコフランダムフィールドは、無向のグラフィカルモデルです。）グラフィカルモデルは、条件付き独立性をキャプチャします。これは、マルコフ特性とは異なる場合があります。

私はグラフィカルモデルに精通していませんが、グラフィカルモデルは確率的プロセスとみなすことができると思います。

— ティム
ソース

1

-マルコフ過程の一般的な考え方は、「現在を考えると、未来は過去から独立している」ということです。

-ベイジアン手法の一般的な考え方は、「事前に与えられ、未来は過去から独立している」ということです。観測によってインデックス付けされた場合、そのパラメーターはマルコフ過程に従います。

プラス

「私の信念を更新する方法は、以下のすべてが同じです

あなたは私に新しい情報Aを与え、次にあなたは私に新しい情報Bを与えます。
あなたは私に新しい情報Bを与え、次に新しい情報Aを与える
AとBを一緒にくれます」

そのため、そのパラメータは実際には、観測ではなく時間でインデックス付けされたマルコフ過程になります

— ニコラス
ソース