マルコフ確率場指数族はいつですか？

教科書のグラフィカルモデル、指数関数的ファミリーおよび変分推論では、M。ジョーダンとM.ウェインライトが指数関数的ファミリーとマルコフランダムフィールド（無向グラフィカルモデル）の関係について説明しています。

次の質問で、それらの関係をよりよく理解しようとしています。

• すべてのMRFは指数ファミリーのメンバーですか？
• 指数ファミリーのすべてのメンバーをMRFとして表すことはできますか？
• MRFが指数ファミリーである場合、一方のタイプの分布が他方に含まれない良い例は何ですか？$\neq$

教科書（第3章）で理解していることから、ジョーダンとウェインライトは次の議論を提示します。

1. ある分布に従うaaスカラー確率変数Xがあり、 iid観測を描画し、を特定したいとします。n X 1、… X n$p$$n$$X^1, \ldots X^n$$p$

2. 特定の関数の経験的期待値を計算します$\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$すべての$\alpha \in \mathcal{I}$

   ここで、いくつかのセットの各、関数インデックスを付けますI φ α：X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. 次に、次の2セットの量を強制的に整合させる、つまり一致させる（を識別する）場合：$p$

   • 期待される分布十分な統計φ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • 経験的分布の下での期待

観測と一致する多くの分布が存在するという意味で、未決定の問題が発生します。したがって、それらの中から選択するための原則が必要です（を識別するため）。$p$$p$

最大エントロピーの原理を使用してこの不確定性を除去すると、単一の取得できます。$p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$はにすべての$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

このは expの形式を取りますここでは、指数ファミリー形式の分布のパラメーター化を表します。$p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

言い換えれば、

1. 分布の期待値を経験的分布の期待値と一致させる
2. 最大エントロピーの原理を使用して、未決定を取り除きます

$\rightarrow$指数関数族の分布になります。

ただし、これは指数関数族を導入するための議論に似ており、（理解できる限り）MRFとexpの関係を説明していません。家族。何か不足していますか？

あなたは完全に正しいです-あなたが提示した議論は、指数関数族を最大エントロピーの原理に関連付けますが、MRFとは何の関係もありません。

最初の3つの質問に対処するには：

指数ファミリーのすべてのメンバーをMRFとして表すことはできますか？

すべてのMRFは指数ファミリーのメンバーですか？

$are$

$\neq$

混合分布は、非指数ファミリ分布の一般的な例です。線形ガウス状態空間モデル（隠れマルコフモデルに似ていますが、連続した隠れ状態とガウス遷移および放射分布を持つ）を考えます。遷移カーネルをガウス分布の混合物で置き換えると、結果の分布は指数族ではなくなります（ただし、実用的なグラフィカルモデルの特徴的な条件付き独立構造は保持されます）。

[1] http://en.wikipedia.org/wiki/Markov_random_field