ニューラルネットワークをグラフィカルモデルとして数学的にモデル化する

11

ニューラルネットワークとグラフィカルモデルを数学的に結びつけるのに苦労しています。

グラフィカルモデルでは、アイデアは単純です。確率分布はグラフのクリークに従って因数分解され、ポテンシャルは通常指数関数的ファミリーです。

ニューラルネットワークに同等の推論はありますか？制限付きボルツマンマシンまたはCNNのユニット（変数）の確率分布を、それらのエネルギー、またはユニット間のエネルギーの積の関数として表現できますか？

また、確率分布は、指数ファミリーのRBMまたはディープビリーフネットワーク（CNNなど）によってモデル化されていますか？

ジョーダン＆ウェインライトがグラフィカルモデル、指数ファミリ、変分推論を使用してグラフィカルモデルに対して行ったのと同じ方法で、これらの最新タイプのニューラルネットワークと統計の間の接続を形式化するテキストを見つけたいと思っています。どんなポインタでも素晴らしいでしょう。

— アメリオ・バスケス・レイナ
ソース

1

IM（嫌い）Oここでの中心的な問題は、ニューラルネットワークは実際にはネットワークではないということです。トポロジーは実質的に固定されているため、内部に情報を保存する機会はほとんどありません。

この最近の投稿を見ましたか？

— jerad 2013年

@jeradありがとう、私はその投稿を読んでいませんでした。私の質問は、これらのモデルをどのように組み合わせるか（たとえばYannが言ったときなど"using deep nets as factors in an MRF"）ではなく、ディープネットを確率論的因子グラフとして見る方法についての詳細です。Yann LeCunが言うとき"of course deep Boltzmann Machines are a form of probabilistic factor graph themselves"、私はその関係を数学的に見ることに興味があります。

— Amelio Vazquez-Reina

@mbq、たとえば、https://distill.pub/2017/feature-visualization/（ニューラルネットワークが画像の理解を構築する方法）などの隠れ層コンポーネント情報ストレージのいくつかの形式を見てきました。複雑な画像には、隠れ層ノードによって表されるコンポーネントオブジェクトがあります。重みは、離散的ではない方法で「トポロジ」を「変更」できます。見たことはありませんが、一部の方法では、エッジを削除して元のトポロジを変更するための収縮係数を含めることができます

— Vass

6

テーマに関するもう一つの良いの導入があるCSC321のトロント大学のコース、neuralnets-2012-001コーセラ、ジェフリー・ヒントンによって教示された両方のコース。

Belief Nets のビデオから：

グラフィカルモデル

初期のグラフィカルモデルでは、エキスパートを使用してグラフ構造と条件付き確率を定義していました。グラフはまばらに接続されており、焦点は学習ではなく、正しい推論の実行にありました（知識は専門家からのものです）。

ニューラルネットワーク

ニューラルネットでは、学習が中心でした。知識のハード配線はクールではありませんでした（OK、おそらく少し）。学習は、専門家からではなく、トレーニングデータの学習から生じました。ニューラルネットワークは、疎結合の解釈可能性を目指して推論を容易にしませんでした。それにもかかわらず、信念ネットのニューラルネットワークバージョンがあります。

私の理解では、信念ネットは通常密集しすぎており、クリークは大きすぎて解釈できません。信念ネットはシグモイド関数を使用して入力を統合しますが、連続グラフィカルモデルは通常ガウス関数を使用します。シグモイドはネットワークのトレーニングを容易にしますが、確率の観点から解釈するのはより困難です。どちらも指数関数的なファミリーに属していると思います。

私はこれについての専門家とはほど遠いですが、講義ノートとビデオは素晴らしいリソースです。

— オストロカハ
ソース

1

サイトへようこそ。私たちは質疑応答の形で高品質の統計情報の永続的なリポジトリを構築しようとしています。したがって、linkrotのため、リンクのみの回答には注意が必要です。完全な引用と情報の要約をリンクに投稿できますか？

— ガン-モニカの復活

これは本当にいいです。この情報を追加していただきありがとうございます。CVへようこそ。

— ガン-モニカの復活

回答の前半の情報は正確ではないことを指摘する必要があります。これは、「初期のグラフィカルモデル」（「非常に早い」はず）の使用によって暗示されていると思います。非常に長い間、グラフィカルモデルは、ニューラルネットワークと同じように、アーキテクチャのすべての側面を学習するために使用されてきました。しかし、因子グラフでガウス分布の代わりにシグモイドを使用することについての提案は興味深いものです。

— GuSuku 2015年

4

Radford Nealは、ベイジアングラフィカルモデルをニューラルネットワークと同等にするいくつかの直接的な作業を含め、この分野で興味を引くかもしれないかなりの作業を行いました。（彼の論文は明らかにこの特定のトピックに関するものでした。）

私はこの作業に精通していないので、インテリジェントな要約を提供できますが、役立つと思われる場合に備えて、ポインタを提供したいと思います。

— lmjohns3
ソース

Neal、Mackayなどの作品から私が理解していることから、最適化するパラメーターがニューラルの重みとバイアスであるベイジアン最適化を使用しており、ニューラルネットワークのL2正規化が重み。そのプログラムは、最適化変数の中に隠れ層、各層内のニューロンなどの数を含めることを続けています。

— GuSuku 2015年

ただし、ニューラルネットワークのアーキテクチャを次の実行で試すように設計することは、ベイジアンモデルをハイパー設計エンジンとして使用する実験設計の特別なケースの1つに過ぎないため、これはOPが求めたものとは異なります。OPが求めたのは、「同じレベル」でのニューラルネットワークとベイジアンモデリングの間のマッピングだったと思います。

— GuSuku 2015年

4

これは古いスレッドである可能性がありますが、関連する質問です。

ニューラルネットワーク（NN）と確率的グラフィカルモデル（PGM）の間の接続の最も顕著な例は、ボルツマンマシン（およびその制限付きBM、ディープBMなどのバリエーション）とマルコフランダムフィールドの無向PGMの間の接続です。

同様に、信念ネットワーク（およびディープBNなどのバリエーション）は、ベイジアングラフの有向PGMの一種です。

詳細については、以下を参照してください。

ヤン・レクン、「エネルギーベースの学習に関するチュートリアル」（2006）
Yoshua Bengio、Ian Goodfellow、Aaron Courville、「Deep Learning」、16章と20章（この本の執筆時点で準備中）

— グスク
ソース