マルコフ確率場と条件付き確率場の違いは何ですか？

MRFの観測されたノードの値を修正すると、CRFになりますか？

OK、私は自分で答えを見つけました：

条件付きランダムフィールド（CRF）は、マルコフランダムフィールド（MRF）の特殊なケースです。

1.5.4条件付きランダムフィールド

条件付きランダムフィールド（CRF）は、上記の非表示MRFと同様に、データzが与えられた変数xの事後を定義するMRFの形式です。ただし、隠れたMRFとは異なり、データ分布P（x | z）および前のP（x）への因数分解は明示的にされていません[288]。これにより、分解を明示的に行わずに、xのzに対する複雑な依存関係を事後分布に直接書き込むことができます。（与えられたP（x | z）、しかし、そのような因数分解は常に存在します-実際、それらの無限に多く）-したがって、CRFが隠されたMRFより一般的であるという提案はありません。 ）

出典：Blake、Kohli、Rother：視覚および画像処理用のマルコフ確率場。2011年。

条件付きランダムフィールドまたはCRF（Lafferty et al。2001）、場合によっては判別ランダムフィールド（Kumar and Hebert 2003）は、すべてのクリークポテンシャルが入力フィーチャに条件付けられているMRFの単なるバージョンです。[...]

MRFに対するCRFの利点は、生成的分類子に対する差別的分類子の利点に類似しています（セクション8.6を参照）。つまり、常に観察するものを「リソースを浪費する」必要はありません。[...]

MRFに対するCRFの欠点は、ラベル付きのトレーニングデータが必要であり、トレーニングに時間がかかることです[...]

出典：Kevin P. Murphy：機械学習：確率的視点

私の質問に答える：

MRFの観測されたノードの値を修正すると、CRFになりますか？

はい。値の修正は、それらの条件付けと同じです。ただし、トレーニングにも違いがあることに注意してください。

コースラでPGM（確率的グラフィカルモデル）に関する多くの講義を見て、非常に役立ちました。

MRF対Bayesネット：珍しい（しかし通常）話す、2種類のグラフィカルモデルがあります：無向グラフィカルモデルと（もう1つのタイプ、たとえばタナーグラフ）。前者はマルコフランダムフィールド/マルコフネットワークとも呼ばれ、後のベイズネット/ベイジアンネットワークとも呼ばれます。（両方の独立性の仮定は、コードグラフで表すことができます）

マルコフは、それが因数分解する方法を意味し、ランダムフィールドは、無向モデルによって定義された分布の中の特定の分布をします。

CRF $\in$ MRFいくつかの変数が観測される場合、我々は条件付き分布エンコードするために同一の無向グラフ（無向グラフなど）表現とパラメータを使用することができる：$P(Y|X)$$Y$ターゲット変数の集合であり、$X$（互いに素であります）観測された変数のセット。

唯一の違いは、標準のマルコフネットワークでは正規化項がXとYで合計されるが、CRFではYのみで合計されるという点にあります。

参照：

1. 無向グラフィカルモデル（Markovランダムフィールド）
2. 確率的グラフィカルモデルの原理と手法（2009年、MITプレス）
3. マルコフ確率場

MRFでの条件付き推論をCRFを使用したモデリングと比較し、途中で定義を確定してから、元の質問に対処しましょう。

MRF

グラフ$G$に関するマルコフ確率場（MRF）は、

1. $G$のノードに対応する一連のランダム変数（または必要に応じてランダムな「要素」）（したがって、「ランダムフィールド」）
2. Gに関してマルコフである共同分布で。つまり、このMRFに関連付けられた結合確率分布は、Gによって与えられるマルコフ制約に従います。任意の2つの変数V iおよびV jについて、V iの値は、その隣接B iを前提としてV jから条件付きで独立です。この場合、結合確率分布P （{ V i } ）はGに従って因数分解すると言われています。$G$$V_i$$V_j$$V_i$$V_j$$\mathcal{B}_i$$P(\{V_i\})$ $G$

MRFの下での条件付き推論

MRFはマルコフ制約に従う多くの変数にわたる共同分布を表すため、いくつかの変数の観測値が与えられると、条件付き確率分布を計算できます。

たとえば、IsRaining、SprinklerOn、SidewalkWet、GrassWetの4つのランダム変数にわたる共同分布がある場合、月曜日にSidewalkWet = False and GrassWet =本当です。火曜日に、SidewalkWet = TrueおよびGrassWet = Trueを確認した場合、IsRainingとSprinklerOnの同時確率分布を推測したい場合があります。

つまり、これら2つの異なる状況で同じMRFモデルを使用して推論を行うことができますが、モデルを変更したとは言いません。実際、ここで説明した両方のケースでSidewalkWetとGrassWetを観察しましたが、MRF自体には「観察された変数」はありません-すべての変数はMRFの目には同じステータスを持っているため、MRFはたとえば、SidewalkWetとGrassWetの共同配布。

CRF

$G$

1. $G$のノードに対応するランダム変数のセット、そのサブセット$\{X_i\}_{i=1}^n$は常に観測されると仮定され、残りの変数$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

違い

$G$

1. 変数のサブセットを「監視対象」として指定します

2. 観測された変数の条件付き分布のみを定義します。観測された変数の確率をモデル化することはありません（分布がパラメーターの観点から表現されている場合、常に知られていることの確率の説明にパラメーターが浪費されないため、これはしばしば利点と見なされます）

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

例

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

結論

$G$$G$ （のマルコフ制約に従う条件付き分布を定義しているため $G$）、やや退化しており、CRFの一般性を達成していません$G$。代わりに、適切なレシピは次のとおりです。$G$、の非観測サブセットでMRFを定義します $G$ 観測された変数のパラメーター化された関数の出力として表されるMRFのパラメーターを使用して、関数パラメーターをトレーニングして、ラベル付きデータで結果の条件付きMRFの尤度を最大化します。

モデルパラメーターの潜在的な節約、条件付きモデルの表現力の向上、および推論効率の保持に加えて、CRFレシピに関する最後の重要なポイントは、離散モデル（および非離散モデルの大部分のサブセット）に対して、 CRFファミリーの表現力、対数尤度は関数パラメーターの凸関数として表現でき、勾配降下によるグローバルな最適化を可能にします。

参照：オリジナルのcrfペーパーおよびこのチュートリアル