グラフィカルモデルのグラフ理論はどこにありますか？

29

グラフィカルモデルの紹介では、それらを「...グラフ理論と確率理論の融合」と説明しています。

確率理論の部分はわかりますが、グラフ理論が正確に当てはまる場所を理解するのは困難です。グラフ理論からの洞察は、不確実性の下での確率分布と意思決定の理解を深めるのに役立ちましたか？

PGMを「ツリー」、「二部」、「無向」などに分類するなど、PGMでのグラフ理論用語の明白な使用を超えて、具体的な例を探しています。

graphical-model graph-theory distributions

33

確率的グラフィカルモデルには真の数学的グラフ理論はほとんどありません。真の数学的グラフ理論とは、クリーク、頂点の順序、最大フロー最小カット定理などに関する証明を意味します。オイラーの定理やハンドシェーク補題のような基本的なものも使用されませんが、確率的推定値を更新するために使用されるコンピューターコードのいくつかのプロパティをチェックするためにそれらを呼び出すかもしれません。さらに、確率的グラフィカルモデルは、マルチグラフなどのグラフのクラスのサブセット以上を使用することはめったにありません。グラフのフローに関する定理は、確率的なグラフィカルモデルでは使用されません。

生徒Aが確率の専門家であるがグラフ理論については何も知らず、生徒Bがグラフ理論の専門家であるが確率については何も知らない場合、Aは確実にBよりも速く確率的グラフィカルモデルを学習し、理解します。

— デビッド・G・ストーク
ソース

8

厳密な意味では、グラフ理論はPGMと大まかに関係しているように見えます。ただし、グラフアルゴリズムは便利です。PGMは、メッセージ受け渡し推論で始まりました。これは、グラフ上のメッセージ受け渡しアルゴリズムの一般的なクラスのサブセットです（おそらく、それが「グラフィカル」という言葉の理由です）。グラフカットアルゴリズムは、コンピュータービジョンのマルコフランダムフィールド推論に広く使用されています。それらは、Ford–Fulkersonの定理に似た結果に基づいています（最大フローは最小カットに等しい）。最も一般的なアルゴリズムは、おそらくボイコフ–コルモゴロフとIBFSです。

参照。[Murphy、2012、§22.6.3]は、MAP推論のグラフカットの使用法をカバーしています。[Kolmogorom and Zabih、2004 ; も参照してください。Boykov et al。、PAMI 2001]、モデリングではなく最適化を扱っています。

— ローマン・シャポバロフ
ソース

興味深いことに、グラフカットアルゴリズムはMRFで使用されます。参照先を教えていただけますか？上記のDavid Storkの回答に基づくと、これらのアルゴリズムは、グラフ理論とPGMの間の基本的なつながりではなく、グラフ理論が有用なモデリングツールであるという事実により生じるようです。

— -Vimal

あなたが尋ねたように、私は参照を追加しました。あなたの最後の声明のように、どのように原因を分けることができますか、すなわちそれが根本的なものかそうでないかを教えてください。

— ローマンシャポバロフ

@overriderは、論文を簡単に検索できるように完全なリファレンスを提供できますか？グーグルは参照に人々を導くかもしれませんが、無関係な結果のために時間を浪費することになるかもしれません。したがって、タイトル、出版社、ジャーナル名、リンクなどを追加するのは良いことです。

— ティム

2

グラフカットアルゴリズムはコンピュータービジョンでは役立ちますが、確率的グラフィカルモデルでは役立ちません。ステレオビジョンの問題の1つは対応問題です。画像Aのどの点が画像Bの点に対応するかを見つけます。頂点が2つの画像の特徴点に対応し、グラフがすべての可能な対応を表すグラフを設定できます。次に、「適切な」対応を見つける問題は、グラフカット問題として投げかけることができます。一般的なグラフィカルモデルにはそのような使用法はありませんが、このコンピュータービジョンの問題をグラフィカルモデルにマッピングしようとすることができると思います。

— デビッドG.ストーク

2

@ DavidG.Stork同様の方法でグラフカットを適用するコンピュータービジョンの問題が他にもあります。画像のセグメンテーション、コラージュの作成などです。そのため、このアプローチは十分に一般的です。これらの問題は、無向のグラフィカルモデルの観点から自然に表現できます（ただし、論文では常にそうとは限りません）。これにより、異なるMRF推論アルゴリズムとモデルフィッティングを使用できます。一方、グラフカットはMRFの非常に大きなサブセットを最適化できるため、たとえばソーシャルネットワーク分析など、ビジョンを超えて適用できます（特定の論文を今思い出すことはできませんが）。

— ローマンシャポバロフ

4

低密度パリティチェックコードのデコードの容易さ（確率的なグラフと見なしてLoopyの信念の伝播を適用すると優れた結果が得られる）と、パリティチェックマトリックスによって形成されるグラフの周囲との間のリンクを調査する作業がいくつかありました。。この胴回りへのリンクは、LDPCが発明されたときまでさかのぼります[1]。しかし、マッケイら[4]によって個別に再発見され、その特性に気づいた後、過去10年ほどでさらに作業が行われました[2] [3]。。

引用されているグラフの直径に依存する信念の伝播の収束時間に関する真珠のコメントをよく見ます。しかし、非ツリーグラフのグラフの直径とそれがどのような効果があるのかを調べた研究はありません。

RGギャラガー。低密度パリティチェックコード。MIT Press、1963
IE Bocharova、F。Hug、R。Johannesson、BD Kudryashov、およびRV Satyukov。ハイパーグラフに基づく大きな胴回りの新しい低密度パリティチェックコード。In Information Theory Proceedings（ISIT）、2010 IEEE International Symposium on、819 –823、2010。
SCタチコンダ。和積アルゴリズムの収束。情報理論ワークショップ、2003。Proceedings。2003 IEEE、ページ222 – 225、2003
デビッドJCマッケイとRMニール。低密度パリティチェックコードのシャノン限界性能に近い。Electronics Letters、33（6）：457–458、1997。

— パット
ソース

3

確率的グラフィカルモデルへのグラフアルゴリズムの成功したアプリケーションの1つは、Chow-Liuアルゴリズムです。最適な（ツリー）グラフ構造を見つける問題を解決し、最大スパニングツリー（MST）アルゴリズムに基づいています。

p (x | T) = \prod_{t \in V} p (x_{t}) \prod_{(s, t) \in E} \frac{p (x_{s}, x_{t})}{p (x_{s}) p (x_{t})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} \log P (D | θ, T) = \sum_{t \in V} \sum_{k} p_{M L} (x_{t} = k) \log p_{M L} (x_{t} = k) + \sum_{(s, t) \in E} I (x_{s}; x_{t} | θ_{s t})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$

$I(x_s;x_t|\theta_{st})$

— ヴァディム・スモリャコフ
ソース

こんにちはワディム。ご返信ありがとうございます。グラフ理論用語の定式化として、それは理にかなっています。しかし、それを最適化の問題として見ることもできます。質問の精神は、より根本的なつながりを問うことでした。たとえば、ソート問題をグラフ上のトポロジカルソートとして定式化できます。ノードは数字で、矢印は<=関係を示します。しかし、それはソートとグラフアルゴリズムの間の基本的な接続を作成しません。

— ヴィマル