ニューラルネットワーク、深層学習システム、深層信念ネットワークの違いは何ですか？

ニューラルネットワーク、深層学習システム、深層信念ネットワークの違いは何ですか？

私が思い出したように、基本的なニューラルネットワークは3層のようなものであり、Deep Belief Systemsが互いに積み重ねられたニューラルネットワークであると説明しました。

最近、ディープラーニングシステムについて聞いたことがありませんが、Deep Belief Systemの同義語だと強く思います。誰でもこれを確認できますか？

人工ニューラルネットワークモデルは、さまざまな理由により、数十層、たとえば3層に制限されていましたが、これにはさまざまな理由があります。たとえば、Kolmogorovs thmという名前の数学証明は、低エラーで（ただし多くのニューロンのみで）理論的に任意の関数を近似できることを示しています。

それを超える多層ネットワークは、従来の学習手法では実現可能ではありませんでした。2006年には、より多くのレイヤーをトレーニングできる3人の異なる研究者Hinton、Le Cun、Bengioが同様のブレークスルーをもたらしました。この領域の顕著な問題は手書き認識でした。

「深い信念ネットワーク」という用語は、ニューラルネットワークと密接な概念的/理論的な接続/類似性を持つベイジアンネットワークに言及したヒントンの2006年の論文に由来するようです。「深い信念ネットのための高速学習アルゴリズム」

特にこのプレゼンテーションのディープニューラルネットワークのスライド17を参照してください

そのため、深層学習の分野はたった半年で、急速な研究開発が行われています。Google、Facebook、Yahooはすべてディープラーニングベースのイニシアチブを発表しており、研究開発が進行中です。

人工ニューラルネットワークは、グラフに基づいたさまざまな種類のアルゴリズムを含むアルゴリズムのクラスです。ANNには多くの種類があるため、言いすぎることはないので、ここでは詳細を説明しません。

最初の種類の人工ニューラルネットワークである有名なMcCulloch-Pittsニューロンは線形でした。つまり、線形決定問題（つまり、線を引くことで線形に分離できるデータセット）しか解けませんでした。時間が経つにつれて、この線形ニューラルネットワークモデルは、パーセプトロンまたはアダリンとして知られるようになりました（重みの更新の計算方法によって異なります）。

線形ニューラルネットワークは、2部グラフで構成されています。左側のノードが入力で、右側のノードが出力です。これらのノード間のエッジの重みのみが学習されます（ノードのアクティブ化しきい値も調整できますが、これはめったに行われません）。

浅いニューラルネットワークが発明されたとき、大きな一歩が踏み出されました。2部グラフだけでなく、3部グラフを使用します。入力「レイヤー」、出力「レイヤー」、それらの間の1つの「隠しレイヤー」です。隠れ層のおかげで、ネットワークは非線形の決定を下し、標準的なXORなどの問題を解決できるようになりました。

「浅い」という用語は、ディープニューラルネットワーク（n層ニューラルネットワークとも呼ばれる）が発明されたときに遡及的に作られたものであることに注意してください。これは、1つの隠れ層のみを持つニューラルネットワークと、n個の隠れ層を持つ深いニューラルネットワークに対抗するためです。推測できるように、より多くの非表示レイヤーを使用すると、決定を調整するレイヤーが増えるため、より複雑なデータセットを決定できます（つまり、決定境界の次元を増やして、過剰適合につながる可能性があります）。

あなたは尋ねることができます：なぜ誰も以前に多層（ディープ）ニューラルネットワークを使用しようとしなかったのですか 事実、彼らは1975年には福島によってコグニトロンとネオコグニトロン（実際には畳み込みニューラルネットワークですが、それは別の話です）で行いました。しかし、問題は、そのようなネットワークを効率的に学習する方法を誰も知らなかったことであり、大きな問題は正則化でした。ヒントンのAutoEncodersが道を開き、後にLeCunのRectified Linear Unitsが問題を修正しました。

Deep Beliefs Networks（DBN）はどうですか？それらは、多層の半制限ボルツマンマシンです。したがって、それらは一種のディープニューラルネットワークですが、異なる基本的なネットワークパターン（つまり、レイヤー、これが繰り返されるパターンです）：ボルツマンマシンは、生成的であるという点で他のネットワークとは異なります。つまり、通常はデータを学習してデータを再現（「生成」）するために使用され、通常のディープニューラルネットワークはデータを分離するために使用されます（「決定境界」を描画することにより）。

言い換えれば、DNNはデータセットの値を分類/予測するのに適していますが、DBNは破損したデータを「修復」するのに優れています（修復と言うと、破損したデータだけでなく、完全に細かいデータにもなります）手書きの数字などの別のニューラルネットワークでより簡単に認識できるように、少し固定してよりステレオタイプにしたいということです）。

実際、きちんと要約すると、AutoEncodersはDeep Belief Networkのより単純な形式であると言えます。以下は、数字ではなく顔を認識するように訓練されたDBNの例です。数字は自動的に消えます（これはDBNの「修正」効果です）。

したがって、最終的に、DBNとDNNは反対ではありません。これらは相補的です。たとえば、手書き文字を認識して、最初にキャラクターの画像をDBNにフィードしてよりステレオタイプにしたシステムを想像してから、ステレオタイプの画像をDNNにフィードして、イメージが表すキャラクターを出力します。

最後の注意：Deep Belief NetsはDeep Boltzmann Machinesに非常に近い：Deep Boltzmann MachinesはBoltzmann Machines（双方向ニューラルネットワーク、リカレントニューラルネットワークとも呼ばれます）のレイヤーを使用しますが、Deep Belief Netsは半制限付きボルツマンマシン（semi-制限は、それらが単方向に変更されることを意味します。したがって、再帰伝播を使用するよりもはるかに効率的なネットワークを学習するために逆伝播を使用できます。両方のネットワークは同じ目的で使用されます（データセットを再生成します）が、計算コストは​​異なります（ディープボルツマンマシンは、反復性があるため、学習するのに非常にコストがかかります。

おまけ：畳み込みニューラルネットワーク（CNN）については、多くの矛盾したわかりにくい主張がありますが、通常、それらは単なるディープニューラルネットワークであることがわかります。しかし、コンセンサスは福島のネオコグニトロンの元の定義を使用することであるようです：CNNは、アクティブ化の前に畳み込みを課すことにより、異なる階層レベルで異なる機能を抽出することを強制されるDNNですネットワークの異なる層に異なる畳み込み/活性化関数を設定することにより、少なくともCNNの賭けであるより良い結果が得られる可能性があります：

最後に、人工知能のより厳密なスケジュールについては、こちらをご覧ください。

ディープニューラルネットワークは、深さが比較的高いニューラルネットワークです。それらはニューラルネットワークのサブクラスです。このアイデアは実際には数十年前に遡り、新しいものではありません。新しいのは、実際にそれらを訓練する方法を見つけたということです。最近非常に人気になった理由は、それらのトレーニングが実行可能になり、人々がそれらを使用して最先端のアルゴリズムを打ち負かしたからです。DNNには、数十年前には利用できなかった大量のデータと計算能力が必要です。ジェフヒントンと彼の学生と同僚は、過去10年間でそれらを実際に訓練する方法を考え出し、それらを使用して、ほとんどの研究者が当時それらを完全に使用するという考えを避けていたいくつかの分野で最先端の機械学習アルゴリズムを打ち負かしました。

信念ネットワークは確率的グラフィカルモデルのクラスであり、グラフを使用して一連のランダム変数とその依存関係をモデル化します（これを行うにはさまざまな方法があります）。これらの変数自体は、パラメーター化された分布からのものであり、ニューラルネットワーク（またはパラメーター化された分布を表す他のモデル）によってモデル化される場合があります。深い信念ネットワークは、比較的深い信念ネットワークです。

信念ネットワークは生成的である傾向があります。つまり、訓練されたモデルを使用して、それが表す分布からサンプルを生成できます。

ニューラルネットワークは差別的である傾向があり、それらを使用して特定の入力の確率を計算できます（これは猫の写真ですか？これは猫の写真である確率はどれくらいですか？）猫の絵）。

ニューラルネットワークは通常、隠れ層と二次方程式が必要な場所に実装されます。ディープボルツマンネットワークのように、データの操作に複数の隠れ層が必要な深層学習と深層信念ネットワークが利用される場所です。