深い信念ネットワークまたはディープボルツマンマシン?


28

よくわかりません。ディープビリーフネットワークとディープボルツマンマシンには違いがありますか?もしそうなら、違いは何ですか?


2
深い信念のネットワークに関するウィキペディアの記事はかなり明確です。ただし、用語の語源/歴史の全体像を把握することは有用/洞察に値します。基本的に、深い信念ネットワークは確率論的なPOVからの深いニューラルネットワークにかなり類似しており、深いボルトズマンマシンは深い信念ネットワークを実装するために使用されるアルゴリズムの1つです。どうやらすべてのANNには確率的解釈/モデルがありますが、ベイジアン/確率的指向の「信念」モデルほど簡単/直接的には得られません。
vzn

回答:


19

Deep Belief Networks(DBN)とDeep Boltzmann Machines(DBM)は図的には非常に似ていますが、実際には質的に非常に異なっています。これは、DBNがリダイレクトされ、DBMがリダイレクトされないためです。それらをより広いML画像に適合させたい場合、DBNは潜在変数の多くの密に接続された層を持つシグモイド信念ネットワークであり、DBMは潜在変数の多くの密に接続された層を持つマルコフ確率場であると言えます。

そのため、これらのモデルのすべてのプロパティを継承します。たとえば、計算するDBN では、は可視層、は非表示変数です。一方、DBMでは、パーティション関数が扱いにくいため、通常、の計算は計算上実行不可能です。v h PPv|hvhP

それは類似点があると言われています。例えば:

  1. DBNと元のDBMは両方とも、制限付きボルツマンマシン(RBM)の貪欲なレイヤーワイズトレーニングに基づく初期化スキームを使用して動作します。
  2. どちらも「深い」ものです。
  3. 両方とも、上下の層に密に接続されている潜在変数の層を備えていますが、層内接続などはありません。

1
DBNをシグモイド信念ネットワークにするにはどうすればよいですか?!! DBNのレイヤーはRBMであるため、各レイヤーはマルコフランダムフィールドです。
ジャックトウェイン

ここに「DBMは指示され、DBMは指示されていないためです」という誤植があると思います。DBNが無向であることを意味すると思います
ジャックトウェイン

@AlexTwainはい、「DBNは指示されています」と読む必要があります。最初に多くのRBMを学習してDBNを初期化しても、通常は重みを解いて、深いS字型の信念ネットワーク(指示)になります。オリジナルのDBNの多くの作業では、人々はトップレイヤーを無指示のままにし、ウェイクスリープのようなもので微調整しました。その場合、ハイブリッドがあります。
アルト

3. では、* interlayer(例:入力から非表示レイヤーへ)ではなく、
intralayer

@ddiezうん、そういう風に読むべきだ。修正いただきありがとうございます。
アルト

4

どちらも、RBMの積み重ねられたレイヤーで構成される確率的なグラフィカルモデルです。違いは、これらのレイヤーの接続方法です。

このリンクは、http//jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdfをかなり明確にします。図2とセクション3.1が特に重要です。

要約すると:

DBNでは、レイヤー間の接続が指示されます。したがって、最初の2つの層がRBM(無向グラフィカルモデル)を形成し、その後の層が有向生成モデルを形成します。

DBMでは、すべてのレイヤー間の接続は無向であるため、レイヤーの各ペアはRBMを形成します。


ディープボルトズマンマシンはまだRBMから構築されていますか?論文の紹介とイメージに基づいて結論を下しています
マリン
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.