現在（2016年）のディープラーニングNNは、4年前（2012年）に学習したNNとどう違うのですか？

Wikipediaおよびdeeplearning4jで、ディープラーニングNN（DLNN）は1つ以上の非表示レイヤーを持つNNであると言われています。

この種のNNは私にとって大学では標準的でしたが、DLNNは現在非常に宣伝されています。そこに行って、それで終わりです-大したことは何ですか？

積み重ねられたNNはディープラーニングと見なされているとも聞きました。ディープラーニングはどのように実際に定義されていますか？

私のNNの背景は主に大学出身であり、仕事ではありません。

• 産業におけるNNの応用を研究
• Artifについて約5つのコースがありました。インテル。＆マッハ。学ぶ。-たぶんそのうちの2つはNNにあります
• 画像認識に関する小規模でシンプルなプロジェクトにNNを使用-3層フィードフォワードNNを使用
• それらについて（博士論文のように）実際の研究をしなかった

ディープNNの基本概念は2012年以降変更されていません。しかし、ディープNNのトレーニング方法にはさまざまな改善があり、質的に強力になっています。また、今日利用できるアーキテクチャの種類も多種多様です。2012年以降のいくつかの開発を、トレーニングの改善とアーキテクチャの改善によってグループ化してリストしました。

深いNNのトレーニングの改善

• ハードウェア：最も明白な変更は、ムーアの法則の容赦のない進展です。今日利用できるより多くの計算能力があります。また、クラウドコンピューティングにより、巨大なリグを購入する必要なく、大規模なNNを簡単にトレーニングできます。

• ソフトウェア：ディープラーニング用のオープンソースソフトウェアは、2012年から本当に大幅に改善されました。2012年には、テアノ、おそらくカフェも存在していました。他にもきっとあると思います。しかし今日、TensorFlow、Torch、Paddle、およびCNTKもあり、これらはすべて大規模なテクノロジー企業によってサポートされています。これらのプラットフォームの多くはGPUでのトレーニングを容易にし、トレーニング時間を大幅に短縮するため、これはハードウェアの箇条書きと密接に関連しています。

• アクティベーション機能：ReLU アクティベーション機能の使用はおそらく最近普及しているため、非常に深いネットワークのトレーニングが容易になります。研究側では、リーキーReLU、パラメトリックReLU、maxoutユニットなど、さまざまなアクティベーション機能が研究されています。

• 最適化アルゴリズム：今日、さらに多くの最適化アルゴリズムがあります。 AdagradとAdadeltaは、それぞれ2011年と2012年に導入されました。しかし、今ではAdamオプティマイザもあり、非常に人気のある選択肢になっています。

• ドロップアウト：過去数年で、ドロップアウトはニューラルネットワークをトレーニングするときの正則化の標準ツールになりました。ドロップアウトは、NNの計算コストが低い形式のensmblingです。一般に、データセットのランダムサンプルでトレーニングされた一連のモデルは、データセット全体でトレーニングされた単一のモデルよりも性能が優れています。NNはトレーニングに非常にコストがかかるため、これを明示的に行うことは困難です。ただし、同様の効果は、各ステップでニューロンをランダムに「オフ」にすることで概算できます。NNのさまざまなサブグラフは、さまざまなデータセットでトレーニングされ、それによってさまざまなことを学びます。エンセンブルのように、これはNN全体をオーバーフィッティングに対してより堅牢にする傾向があります。ドロップアウトは、ほとんどすべての場合でパフォーマンスを向上させると思われる単純な手法なので、

• バッチ正規化：NNは正規化されたデータで最適にトレーニングすることはしばらくの間知られています-つまり、平均ゼロと単位分散があります。非常に深いネットワークでは、データが各レイヤーを通過するときに、入力が変換され、通常、この素晴らしい正規化されたプロパティを欠く分布にドリフトします。その観点から見ると、その入力には平均値と単位分散がゼロではないため、これらのより深い層での学習はより困難になります。平均は非常に大きく、分散は非常に小さい可能性があります。 バッチ正規化は、平均と単位分散がゼロになるようにレイヤーへの入力を変換することでこれに対処します。これは非常に深いNNのトレーニングに非常に効果的であるようです。

• 理論：ごく最近まで、ディープNNをトレーニングするのが難しい理由は、最適化アルゴリズムがローカルミニマムでスタックし、グローバルミニマムの取得と検索に問題があるためと考えられていました。過去4年間に、この直感が間違っていたことを示すと思われる多くの研究がありました（たとえば、Goodfellow et al。2014）。深いNNの非常に高次元のパラメータ空間では、局所的な最小値は、全体的な最小値ほど悪くはない傾向があります。問題は、実際には、トレーニング時にNNが長くて広い高原にいることです。さらに、これらの高原は急な断崖で突然終了する可能性があります。NNが小さなステップを踏むと、学習に非常に長い時間がかかります。しかし、ステップが大きすぎると、崖にぶつかったときに巨大な勾配に出会い、以前のすべての作業が取り消されます。（これは、2013年以降のもう1つの革新的な勾配クリッピングで回避できます。）

新しいアーキテクチャ

• 残留ネットワーク：研究者は（1000の以上の層！）信じられないほど深いネットワークを訓練することができました使用して残留のネットワークを。ここでの考え方は、各レイヤーが前のレイヤーからの出力だけでなく、元の入力も受け取るということです。適切にトレーニングされている場合、これにより各レイヤーは前のレイヤーとは異なる何かを学ぶようになり、追加の各レイヤーは情報を追加します。

• 広くて深いネットワーク：広くて浅いネットワークは、入力と出力の間のマッピングを単純に記憶する傾向があります。深いネットワークは一般化します。通常は適切な汎化が必要ですが、推奨システムのように、汎化なしの単純な記憶も重要な状況もあります。これらのケースでは、ユーザーが一般的なクエリを実行するときに優れた実質的なソリューションを提供し、ユーザーが非常に具体的なクエリを実行するときに非常に正確なソリューションを提供する必要があります。 広く深いネットワークは、このタスクを適切に実行できます。

• ニューラルチューリングマシン：従来のリカレントNN（標準のRNNでも、LSTMのようなより洗練されたものでも）の欠点は、メモリが「直感的」であることです。彼らは、過去に生じた隠しレイヤーのアクティブ化を将来に渡って保存することにより、過去の入力を記憶することができます。ただし、一部のデータを明示的に格納する方が理にかなっている場合があります。（これは、紙に電話番号を書き留めることと、番号が約7桁で、そこに3と2、そして中央のどこかにダッシュがあったことを覚えていることの違いかもしれません。）ニューラルチューリングマシンこの問題に対処しようとする方法です。このアイデアは、ネットワークが特定の事実をメモリバンクに明示的にコミットすることを学習できるというものです。バックプロップアルゴリズムは微分可能な関数を必要とするため、これを行うのは簡単ではありませんが、データをメモリアドレスにコミットすることは本質的に個別の操作です。その結果、ニューラルチューリングマシンは、さまざまなメモリアドレスの分散に少しのデータをコミットすることでこれを回避します。これらのアーキテクチャはまだ十分に機能していないようですが、その考え方は非常に重要です。これらのいくつかのバリアントは、おそらく将来的に普及するでしょう。

• 生成的敵対的ネットワーク：GANは非常に刺激的なアイデアであり、すでに多くの実用化が見られているようです。ここでの考え方は、2つのNNを同時にトレーニングすることです。1つは基礎となる確率分布からサンプルを生成しようとし（ジェネレータ）、もう1つは実際のデータポイントとジェネレータによって生成された偽のデータポイントを区別しようとします（判別器）。たとえば、データセットが寝室の写真のコレクションである場合、ジェネレーターは寝室の独自の写真を作成しようとし、弁別器は寝室の実際の写真と寝室の偽物の写真のどちらを見ているかを理解しようとします。最後に、非常に便利なNNが2つあります。1つは画像を寝室であるか寝室でないかで分類するのに非常に優れており、もう1つは寝室のリアルな画像を生成するのに非常に優れています。

さまざまなマシンビジョン/オブジェクト検出の課題における最近の大幅な改善により、ディープラーニング（特にディープコンボリューションニューラルネットワーク）は現在非常に人気があります。特にディープコンベントは、ImageNet分類エラーを2010年の28％から2014年の7％に削減するために使用されています。ディープラーニングは確かに過剰に宣伝されていますが、マシンビジョンの分野で意味のある改善があったという事実を損なうものではありません。

同様の質問がCVで行われました：ニューラルネットワークとディープラーニングの違い：

深層学習=深層人工ニューラルネットワーク+ その他の種類の深層モデル。

ディープ人工ニューラルネットワーク= 1層を超える人工ニューラルネットワーク。（ディープニューラルネットワークの最小レイヤー数を参照）

参考までに：1980年代からのすべての改善はより多くのデータとはるかに高速なコンピューターによるものであると主張するディープラーニングに関するこのスライドはどのくらい真実ですか？