この投稿は頻繁に更新されています。上部に、リンクの更新が表示されます。以下、最初の答えのバリエーション。短いバージョンの場合:畳み込みニューラルネットワークとディープラーニングの成功は、一種のガリレオ革命のように見えます。実用的な観点では、古典的な信号処理またはコンピュータービジョンは死んでいます...十分なラベル付きデータがあり、明らかな分類障害(深い欠陥)をほとんど気にせず、カーボンフットプリントを考慮せずにテストを実行する無限のエネルギーがある場合、合理的な説明を気にしないでください。他の人にとっては、これにより、特徴抽出、最適化(以前の私の同僚J.-C. Pesquetによる深層ニューラルネットワーク構造の変分不等式の解決を参照))、不変性、定量化など。そして、そこから本当に興味深い研究が現れており、しっかりと根拠のある原則と同様のパフォーマンスに追いつくことを願っています。
更新されたリンク:
自然な敵対的な例を紹介します-分類器の精度を大幅に低下させる実世界の、修正されていない、自然に発生する例です。7,500の自然な敵の例をキュレートし、それらをImageNet-Aと呼ぶImageNet分類器テストセットでリリースします。このデータセットは、分類子の堅牢性を測定する新しい方法として機能します。l_pの敵の例のように、ImageNet-Aの例は、見えない分類器またはブラックボックス分類器に正常に転送されます。たとえば、ImageNet-Aでは、DenseNet-121で約2%の精度が得られ、精度は約90%低下します。ImageNet-Aの例は、色、テクスチャ、および背景キューへの過度の依存など、現在の分類器の深い欠陥を悪用するため、この精度を回復することは簡単ではありません。堅牢性を向上させるための一般的なトレーニング手法はほとんど効果がないことがわかりますが、しかし、いくつかのアーキテクチャの変更により、自然な敵対的な例に対する堅牢性を強化できることを示しています。このハードImageNetテストセットの堅牢な一般化を可能にするには、今後の研究が必要です。
- 2019/05/03:ディープラーニング:信号処理と時系列分析の最終フロンティア?「この記事では、信号または時系列が重要ないくつかの領域を示したい」
- 2018年4月23日:私はちょうど音響、スピーチおよび信号処理、上毎年国際会議から戻ってくる2018 ICASSP。ディープラーニング、ディープネットワークなどに多少依存している論文の量には驚かされました。4人のうち2人の大使(Alex AceroとYann LeCun)がそのようなトピックに専念しました。同時に、私が会ったほとんどの研究者はそれについて冗談を言っていました(「申し訳ありませんが、私のポスターはディープラーニングではなくフィルターバンクにあります」、「私はそれに興味がない、小さなデータセットがあります」)、または壮大な挑戦で0.5%を獲得し、物理学または統計的事前分布のモデリングに興味を失ったことを疑問に思っていました。
- 2018/01/14:ディープネットは猫を見ることができますか?、「抽象的な猫」から「最高の猫」まで、反転、描画など、そしてなんとなくスケッチの驚くべき結果
- 2017/11/02:分散変換/ネットワークへの参照を追加
- 2017/10/21:イメージングの逆問題のための畳み込みニューラルネットワークのレビュー
- ディープラーニングと信号および情報処理への応用、IEEE Signal Processing Magazine、2011年1月
標準の信号/画像処理の「ステップ」に関するディープラーニングのリファレンスは、下部にあります。Michael Eladは、 ディープ、ディープトラブル:ディープラーニングの画像処理、数学、および人類への影響(SIAMニュース、2017/05)の抜粋を書きました。
その後、ニューラルネットワークが突然戻ってきて、復をしました。
このトリビューンは、データをモデル化/理解しようとする従来の「画像処理」から、あまり洞察力のない正確さの領域への移行を示しているため、興味深いものです。
このドメインは非常に急速に進化しています。これは、意図的または一定の方向に進化するという意味ではありません。正しくも間違っていません。しかし、今朝、私は次の言葉を聞いた(または冗談でしょうか?):
膨大なデータのセットを使用した不正なアルゴリズムは、ペースデータを使用したスマートアルゴリズムよりも優れた結果をもたらします。
ここに私の非常に短い試みがありました:ディープラーニングは最先端の結果を提供するかもしれませんが、その理由を常に理解しているわけではありません。など
ディープラーニングには、タグ付きの(巨大な)データベースが必要です。任意の単一または特異画像に工芸品を行う時、特に「自由ユーザーベースのタグ付けされた画像を」得にくい場所で、(つまり、巨大なデータベースの背後なし)(集合の補集合の「ゲームや顔をプレイ面白い猫」) 、従来の画像処理にしばらくの間、そして利益のために固執することができます。最近のつぶやきは、その概要を示します。
(多くの)ラベル付きデータ(欠落しているvarsなし)要件は、多くのドメインの取引ブレーカー(および不要)です
彼らが殺されている場合(短期的な通知では疑わしい)、彼らはまだ死んでいない。そのため、信号処理、画像解析、コンピュータービジョンで習得したスキルは、今後も役立ちます。これは、たとえばブログ投稿で説明されています: コンピュータービジョンのジオメトリについて忘れていませんか?アレックス・ケンドール:
ディープラーニングはコンピュータービジョンに革命をもたらしました。今日、最高のパフォーマンスのソリューションがエンドツーエンドのディープラーニングモデルに基づいていない場合、多くの問題はありません。特に、畳み込みニューラルネットワークは、箱から出してすぐに動作する傾向があるため、人気があります。ただし、これらのモデルは主に大きなブラックボックスです。私たちがそれらについて理解していないことはたくさんあります。
具体的な例は次のとおりです。同じ場所からのいくつかの非常に暗い(監視など)画像に、検出すべき特定の変化が含まれているかどうかを評価する必要がある場合、従来の画像処理の問題である可能性があります。ディープラーニング(現在)。
反対に、ディープラーニングが大規模に成功するのと同じように、小さなデータセットの誤分類につながる可能性があり、一部のアプリケーションでは「平均」では無害です。人間の目にわずかに異なる2つの画像は、DLを介して異なる方法で分類できます。または、ランダムな画像を特定のクラスに設定できます。たとえば、ディープニューラルネットワークは簡単にだまされます:認識できない画像の高信頼予測(Nguyen A、Yosinski J、Clune J. Proc。Computer Vision and Pattern Recognition 2015)、またはDeep Learning Have Deep Flaws?、敵対的否定について:
研究者が特定の知覚できない摂動を適用した後、ネットワークは画像を誤分類する場合があります。摂動は、予測誤差を最大化するためにピクセル値を調整することで見つけられます。
「深層学習」に敬意を払って、「登録された、既知の、質量検証可能な、または予想される動作に対応する大量生産」と「単一の工芸品」について考えてください。単一のインデックススケールでは、(まだ)より良いものはありません。両方がしばらく共存しなければならない場合があります。
ただし、ディープラーニングは、以下の参考文献で説明されているように、多くの新しい分野に広がっています。
幸いなことに、一部の人々は、ディープラーニングの背後にある数学的な理論的根拠を見つけようとしています。その例は、散乱ネットワークまたはStéphaneMallatと共著者によって提案された変換です。散乱についてはENSサイトを参照してください。高調波解析と非線形演算子、リプシッツ関数、並進/回転不変性、平均的な信号処理者に適しています。たとえば、Deep Convolutional Networksの理解を参照してください。