ニューラルネットワークと深い信念ネットワークの違いは何ですか？

人々が「深い信念」のネットワークに言及しているとき、これは基本的にニューラルネットワークであるが非常に大きいという印象を受けています。これは正しいですか、または深い信念ネットワークは、アルゴリズム自体が異なることを暗示していますか（つまり、フィードフォワードニューラルネットはないが、おそらくフィードバックループのあるもの）。

「ニューラルネットワーク」とは、通常、フィードフォワードニューラルネットワークを指すために使用される用語です。ディープニューラルネットワークは、多くの層を持つフィードフォワードニューラルネットワークです。

深い信念ネットワークは、ディープニューラルネットワークと同じではありません。

あなたが指摘したように、深い信念のネットワークにはいくつかの層の間の無向の接続があります。これは、DNNとDBNのトポロジが定義によって異なることを意味します。

DBNの無向レイヤーは、制限付きボルツマンマシンと呼ばれます。この層は、非常に高速な教師なし学習アルゴリズム（対照的発散）を使用してトレーニングできます（詳細はリンクです！）。

いくつかのコメント：

より深いニューラルネットワークで得られたソリューションは、1つまたは2つの隠れ層を持つネットワークで得られたソリューションよりもパフォーマンスが悪いソリューションに対応します。アーキテクチャが深くなると、Deep NNを使用して適切な一般化を取得することが難しくなります。

2006年、ヒントンは、各層（RBM）が教師なし学習アルゴリズム（対照的発散）で事前にトレーニングされている場合、より深いアーキテクチャでより良い結果が得られることを発見しました。次に、重みを「微調整」するために、逆伝播を使用して監視された方法でネットワークをトレーニングできます。

$j$$x_j$$y_j$

そうは言っても、Davidが述べたように、「深い信念ネットワークは、RBMのように、上位2層の間に無向接続を持ちます」。これは、標準のフィードフォワードニューラルネットワークとは対照的です。一般に、DNNの主な問題は、単一層のNNよりも明らかに関与しているトレーニングです。（私は最近、この論文を読んだばかりのNNに取り組んでいません。）

参考：1. 音声認識における音響モデルのためのディープニューラルネットワークジェフリー・ヒントン、李小平、ドン・ユー、ジョージ・ダール、アブデル・ラーマン・モハメド、ナブディープJaitly、アンドリュー・シニア、ヴィンセントVanhoucke、パトリック・グエン、タラSainath ,,とブライアンによって、 IEEE Signal Processing MagazineのKingsbury [82] 2012年11月（MSRのオリジナルペーパーへのリンク）

ここでアレックスのコメントを見てうれしいです。DLは典型的なニューラルネットワークであると人々に説明してきました。学習スキームに違いはありません。c（70年代）で記述された以前のANNには、複数の非表示レイヤーをセットアップするオプションがあります。実際、より多くの隠れ層が精度を改善するかどうかを判断するためにテストしました。レイヤーの数によって、DLはANNと変わりません。

この種のマーケティング用語は嫌いです。現在、DLが実際にANNであることを知らない非常に多くのDL専門家がいます。マーケティングは非常に優れており、強力であるため、人々は機械学習分野で多くの進歩を遂げたと考えています。しかし、新しいものは何もありません！