1980年代からのすべての改善は、はるかに多くのデータとはるかに高速なコンピューターによるものであると主張するディープラーニングに関するこのスライドは、どの程度真実ですか？

私は講演を聞いていて、このスライドを見ました：

本当ですか？

私はAI StackExchangeを閲覧していて、非常によく似た質問に出くわしました。「ディープラーニング」と他のニューラルネットワークの違いは何ですか？

AI StackExchangeは明日（再び）終了するため、ここで上位2つの回答をコピーします（cc by-sa 3.0でライセンス供与されたユーザーの貢献、帰属が必要です）。

作成者：mommi84less

2006年に引用された2つの論文は、ディープラーニングに研究の関心を呼び戻しました。では、「深い信念ネットの高速学習アルゴリズム」、著者はと深い信念ネットを定義します。

[...]多くの隠れ層を持つ密に接続された信念ネット。

ディープネットワークについては、「ディープネットワークの貪欲なレイヤー単位のトレーニング」でほぼ同じ説明があります。

深い多層ニューラルネットワークには多くのレベルの非線形性があります[...]

次に、調査論文「Representation Learning：A Review and New Perspectives」で、ディープラーニングを使用してすべての手法を網羅し（この講演も参照）、次のように定義されています。

[...]複数レベルの表現の構築、または機能の階層の学習。

したがって、上記の著者は形容詞「深い」を使用して、複数の非線形の隠れ層の使用を強調しています。

作成者：lejlot

@ mommi84回答に追加するだけです。

ディープラーニングは、ニューラルネットワークに限定されません。これは、ヒントンのDBNなどよりも幅広い概念です。ディープラーニングは、

複数レベルの表現の構築、または機能の階層の学習。

したがって、階層表現学習 アルゴリズムの名前です。隠れマルコフモデル、条件付きランダムフィールド、サポートベクターマシンなどに基づいたディープモデルがあります。唯一の共通点は、（90年代に普及した）フィーチャエンジニアリングではなく、研究者がフィーチャセットを作成しようとしていたものです。分類問題を解決するのに最適-これらのマシンは生データから独自の表現を作成できます。特に-画像認識（生画像）に適用すると、ピクセル、ライン、鼻、目、最終的には顔などの顔の特徴（顔を扱っている場合）で構成されるマルチレベル表現を生成します-一般化された顔。自然言語処理に適用する場合-言語モデルを構築し、単語をチャンクに、チャンクを文に接続します。

別の興味深いスライド：

ソース

2006年のヒントンからのドロップアウトは、過去10年間のディープラーニングの最大の改善であると言われています。

これは確かに論争を引き起こす質問です。

ニューラルネットワークが深層学習で使用される場合、通常、1980年代には使用されなかった方法でトレーニングされます。特に、異なるレベルの機能を認識するためにニューラルネットワークの個々のレイヤーを事前にトレーニングする戦略は、いくつかのレイヤーでネットワークをトレーニングすることを容易にするために主張されています。それは確かに1980年代以来の新しい開発です。

重要なのは、ディープラーニングの「深い」という言葉です。すべての非線形関数により近似することができることを証明した80年代の誰か（REFを忘れてしまった）単一のコースの有する層ニューラルネットワーク、隠れユニットの十分な数。この結果はおそらく、人々が初期の時代に、より深いネットワークを探すことを思いとどまらせると思います。

しかし、ネットワークの深さは、今日の多くのアプリケーションの成功を推進する階層表現の重要な要素であることが証明されています。

正確ではありませんが、ANNは50年代に始まります。MLロックスターのYann LeCunのスライドをチェックして、本格的かつ包括的なイントロをご覧ください。 http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf