ニューラルネットワーク、深層学習システム、深層信念ネットワークの違いは何ですか?


23

ニューラルネットワーク、深層学習システム、深層信念ネットワークの違いは何ですか?

私が思い出したように、基本的なニューラルネットワークは3層のようなものであり、Deep Belief Systemsが互いに積み重ねられたニューラルネットワークであると説明しました。

最近、ディープラーニングシステムについて聞いたことがありませんが、Deep Belief Systemの同義語だと強く思います。誰でもこれを確認できますか?



Deep Belief Systemは、私が出会った用語です。同義語である場合とそうでない場合があります(Google検索では、Deep Belief Systemの記事が表示されます)
リンドンホワイト

Deep Belief Networkは、Deep Boltzmann Networkから派生しているため、正規名です(また、ベイジアンネットワークと確率的決定理論に関するものであるため、まったく異なる信念伝播システムと混同する可能性があります)。
貪欲な

@gaborous Deep Belief Networkは正しい名前です(私が長年にわたって彼らに紹介してくれた文書にはタイプミスがあったに違いありません)。しかし、深いboltzmanネットワークに由来することに関しては、その名前自体は非標準的です(私の知る限り、引用を見て喜んでいます)。DBNは、Sigmoid Belief NetworksおよびスタックRBMから派生しています。Deep Boltzmann Networkという用語はこれまで使用されていないと思います。一方、ディープボルツマンマシンは使用されている用語ですが、ディープボルツマンマシンはディープビリーフネットワーク
リンドンホワイト

@Oxinaboxあなたは正しい、私はタイプミスをしました、それはDeep Boltzmann Machinesです、しかしそれは本当にDeep Boltzmann Networkと呼ばれるべきです(しかしその後頭字語は同じでしょう、それで多分それが理由です)。どのディープアーキテクチャが最初に発明されたかはわかりませんが、ボルツマンマシンは準制限bmの前にあります。DBNとDBMは、繰り返し層として使用される基本ネットワークがSRBM対BMであることを除いて、実際には同じ構造です。
貪欲な

回答:


10

人工ニューラルネットワークモデルは、さまざまな理由により、数十層、たとえば3層に制限されていましたが、これにはさまざまな理由があります。たとえば、Kolmogorovs thmという名前の数学証明は、低エラーで(ただし多くのニューロンのみで)理論的に任意の関数を近似できることを示しています。

それを超える多層ネットワークは、従来の学習手法では実現可能ではありませんでした。2006年には、より多くのレイヤーをトレーニングできる3人の異なる研究者Hinton、Le Cun、Bengioが同様のブレークスルーをもたらしました。この領域の顕著な問題は手書き認識でした。

「深い信念ネットワーク」という用語は、ニューラルネットワークと密接な概念的/理論的な接続/類似性を持つベイジアンネットワークに言及したヒントンの2006年の論文に由来するようです。「深い信念ネットのための高速学習アルゴリズム」

特にこのプレゼンテーションのディープニューラルネットワークのスライド17を参照してください

そのため、深層学習の分野はたった半年で、急速な研究開発が行われています。Google、Facebook、Yahooはすべてディープラーニングベースのイニシアチブを発表しており、研究開発が進行中です。


フィールドの研究者によるディープラーニング専用のウェブサイト
vzn

14

人工ニューラルネットワークは、グラフに基づいたさまざまな種類のアルゴリズムを含むアルゴリズムのクラスです。ANNには多くの種類があるため、言いすぎることはないので、ここでは詳細を説明しません。

最初の種類の人工ニューラルネットワークである有名なMcCulloch-Pittsニューロンは線形でした。つまり、線形決定問題(つまり、線を引くことで線形に分離できるデータセット)しか解けませんでした。時間が経つにつれて、この線形ニューラルネットワークモデルは、パーセプトロンまたはアダリンとして知られるようになりました(重みの更新の計算方法によって異なります)。

線形ニューラルネットワークは、2部グラフで構成されています。左側のノードが入力で、右側のノードが出力です。これらのノード間のエッジの重みのみが学習されます(ノードのアクティブ化しきい値も調整できますが、これはめったに行われません)。

アダリンやパーセプトロンなどの基本的なニューラルネットワーク(非表示層なし) 線形決定境界

浅いニューラルネットワークが発明されたとき、大きな一歩が踏み出されました。2部グラフだけでなく、3部グラフを使用します。入力「レイヤー」、出力「レイヤー」、それらの間の1つの「隠しレイヤー」です。隠れ層のおかげで、ネットワークは非線形の決定を下し、標準的なXORなどの問題を解決できるようになりました。

Xorニューラルネットワーク Xorニューラルネットワークの例アクティベーションパス Xorネットワーク決定境界

「浅い」という用語は、ディープニューラルネットワーク(n層ニューラルネットワークとも呼ばれる)が発明されたときに遡及的に作られたものであることに注意してください。これは、1つの隠れ層のみを持つニューラルネットワークと、n個の隠れ層を持つ深いニューラルネットワークに対抗するためです。推測できるように、より多くの非表示レイヤーを使用すると、決定を調整するレイヤーが増えるため、より複雑なデータセットを決定できます(つまり、決定境界の次元を増やして、過剰適合につながる可能性があります)。

N層ニューラルネットワーク n層ディープニューラルネットワークを使用した複雑な非線形決定境界

あなたは尋ねることができます:なぜ誰も以前に多層(ディープ)ニューラルネットワークを使用しようとしなかったのですか 事実、彼らは1975年には福島によってコグニトロンネオコグニトロン(実際には畳み込みニューラルネットワークですが、それは別の話です)で行いました。しかし、問題は、そのようなネットワークを効率的に学習する方法を誰も知らなかったことであり、大きな問題は正則化でした。ヒントンのAutoEncodersが道を開き、後にLeCunのRectified Linear Unitsが問題を修正しました。

Deep Beliefs Networks(DBN)はどうですか?それらは、多層の半制限ボルツマンマシンです。したがって、それらは一種のディープニューラルネットワークですが、異なる基本的なネットワークパターン(つまり、レイヤー、これが繰り返されるパターンです):ボルツマンマシンは、生成的であるという点で他のネットワークとは異なります。つまり、通常はデータを学習してデータを再現(「生成」)するために使用され、通常のディープニューラルネットワークはデータを分離するために使用さます(「決定境界」を描画することにより)。

言い換えれば、DNNはデータセットの値を分類/予測するのに適していますが、DBNは破損したデータを「修復」するのに優れています(修復と言うと、破損したデータだけでなく、完全に細かいデータにもなります)手書きの数字などの別のニューラルネットワークでより簡単に認識できるように、少し固定してよりステレオタイプにしたいということです)。

実際、きちんと要約すると、AutoEncodersはDeep Belief Networkのより単純な形式であると言えます。以下は、数字ではなく顔を認識するように訓練されたDBNの例です。数字は自動的に消えます(これはDBNの「修正」効果です)。

顔認識に関するDeep Belief Networkの例

したがって、最終的に、DBNとDNNは反対ではありません。これらは相補的です。たとえば、手書き文字を認識して、最初にキャラクターの画像をDBNにフィードしてよりステレオタイプにしたシステムを想像してから、ステレオタイプの画像をDNNにフィードして、イメージが表すキャラクターを出力します。

最後の注意:Deep Belief NetsはDeep Boltzmann Machinesに非常に近い:Deep Boltzmann MachinesはBoltzmann Machines(双方向ニューラルネットワーク、リカレントニューラルネットワークとも呼ばれます)のレイヤーを使用しますが、Deep Belief Netsは半制限付きボルツマンマシン(semi-制限は、それらが単方向に変更されることを意味します。したがって、再帰伝播を使用するよりもはるかに効率的なネットワークを学習するために逆伝播を使用できます。両方のネットワークは同じ目的で使用されます(データセットを再生成します)が、計算コストは​​異なります(ディープボルツマンマシンは、反復性があるため、学習するのに非常にコストがかかります。

おまけ:畳み込みニューラルネットワーク(CNN)については、多くの矛盾したわかりにくい主張がありますが、通常、それらは単なるディープニューラルネットワークであることがわかります。しかし、コンセンサスは福島のネオコグニトロンの元の定義を使用することであるようです:CNNは、アクティブ化の前に畳み込みを課すことにより、異なる階層レベルで異なる機能を抽出することを強制されるDNNですネットワークの異なる層に異なる畳み込み/活性化関数を設定することにより、少なくともCNNの賭けであるより良い結果が得られる可能性があります:

ディープニューラルネットワークの機能 畳み込みニューラルネットワークの機能

最後に、人工知能のより厳密なスケジュールについては、こちらをご覧ください


1
素晴らしい答えです!畳み込みディープネットワークの重要な側面(おそらく定義的な側面)は、各レイヤーが畳み込みを適用し、次に活性化関数を適用することに対応することです。カーネルがあり、レイヤー内のすべてのノードが同じカーネルを適用します。入力が画像であると想像してください。通常、ピクセルごとにノードがあり、近くのピクセルからの接続があります。通常のネットワークでは、各ピクセルが着信エッジに独自の重みパターンを持つことができます。畳み込みネットワークでは、画像のすべてのピクセルで同じ重みのシーケンスであるという追加の要件が課されます。
DW

はい、確かにあなたは正しいです、そしてそれは名前の由来です。しかし個人的には、これは他の何よりもディープニューラルネットワークを特化するためのハックとしてよく使用されると思います(ディープニューラルネットワークの定義特性がデータセットにとって汎用的で不可知論的である場合)。たとえば、CNNの一種であるHMAXは、畳み込みを使用して顕著性マップを計算します。これは、生物学的ニューラルネットワークの顕著性マップが動的プログラミングを使用して計算されない場合は明らかにハックです
...-gaborous

3

ディープニューラルネットワークは、深さが比較的高いニューラルネットワークです。それらはニューラルネットワークのサブクラスです。このアイデアは実際には数十年前に遡り、新しいものではありません。新しいのは、実際にそれらを訓練する方法を見つけたということです。最近非常に人気になった理由は、それらのトレーニングが実行可能になり、人々がそれらを使用して最先端のアルゴリズムを打ち負かしたからです。DNNには、数十年前には利用できなかった大量のデータと計算能力が必要です。ジェフヒントンと彼の学生と同僚は、過去10年間でそれらを実際に訓練する方法を考え出し、それらを使用して、ほとんどの研究者が当時それらを完全に使用するという考えを避けていたいくつかの分野で最先端の機械学習アルゴリズムを打ち負かしました。

信念ネットワークは確率的グラフィカルモデルのクラスであり、グラフを使用して一連のランダム変数とその依存関係をモデル化します(これを行うにはさまざまな方法があります)。これらの変数自体は、パラメーター化された分布からのものであり、ニューラルネットワーク(またはパラメーター化された分布を表す他のモデル)によってモデル化される場合があります。深い信念ネットワークは、比較的深い信念ネットワークです。

信念ネットワークは生成的である傾向があります。つまり、訓練されたモデルを使用して、それが表す分布からサンプルを生成できます。

ニューラルネットワークは差別的である傾向があり、それらを使用して特定の入力の確率を計算できます(これは猫の写真ですか?これは猫の写真である確率はどれくらいですか?)猫の絵)。


私はMLの専門家ではないので、書いたものを一粒の塩で取ります。
カベ

-1

ニューラルネットワークは通常、隠れ層と二次方程式が必要な場所に実装されます。ディープボルツマンネットワークのように、データの操作に複数の隠れ層が必要な深層学習と深層信念ネットワークが利用される場所です。


それで、両方とも隠しレイヤーを必要としますか?通常のNNで複数の非表示レイヤーを実行できますか?このボルツマンネットワークは、ボルツマンマシンを意味しましたか?それで、違いは何ですか?それは質問に答えません(または多分答えますが、あまりにも不明瞭です)。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.