タグ付けされた質問 「deep-network」

9
ディープニューラルネットワークが簡単にだまされる可能性はどのようにありますか?
次のページ / 研究は、認識できない画像に対して高い信頼性の予測を与えることにより、ディープニューラルネットワークが簡単にだまされることを示しています。 これはどのように可能ですか?わかりやすい英語で説明していただけますか?




4
CNNのパターン認識機能は画像処理に限定されていますか?
抽象データをグラフィカルに表現するなど、既存の画像がない問題領域でパターン認識に畳み込みニューラルネットワークを使用できますか?それは常に効率が悪いでしょうか? この開発者によると、現在の開発はさらに進む可能性があるが、画像認識以外の制限がある場合はそうではないという。

2
深い残余ネットワークはネットワークのアンサンブルとして見られるべきですか?
問題は、Deep Residual Networks(ResNets)のアーキテクチャについてです。5つのメイントラックすべてで「大規模視覚認識チャレンジ2015」(ILSVRC2015)で1位を獲得したモデル: ImageNet分類:「超深層」(引用Yann)152層ネット ImageNet検出:2番目より16%優れています ImageNetローカリゼーション:2番目より27%優れています COCO検出:2回目より11%良好 COCOセグメンテーション:2番目より12%優れている 出典: MSRA @ ILSVRC&COCO 2015コンテスト(プレゼンテーション、2番目のスライド) この作業については、次の記事で説明しています。 画像認識のためのディープ残差学習(2015、PDF) マイクロソフトリサーチチーム(ResNetの開発者:Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun)の記事: 「深い残余ネットワークにおけるアイデンティティマッピング(2016)」 深度が重要な役割を果たすことを述べる: 「私たちはこれらの結果を、シンプルですが本質的なコンセプトによって取得します—より深くします。これらの結果は、奥行きの限界を押し広げる可能性を示しています。」 それは彼らのプレゼンテーションでも強調されています(より深い-より良い): -「モデルが深いほど、トレーニングエラーが大きくなることはありません。」 -「より深いResNetの方がトレーニングエラーが少なく、テストエラーも少ない。」 -「より深いResNetの方がエラーが少ない。」 -「すべてがより深い機能からより多くの利益を得る–累積的な利益!」 -「より深い方が良い」 以下は、34層残差の構造です(参照用)。 しかし、最近私は、それらが指数アンサンブルであることを示す残差ネットワークの新しい解釈を導入する1つの理論を発見しました。 残余ネットワークは、比較的浅いネットワークの指数関数的集合です(2016) ディープレスネットは、さまざまな深度で出力がプールされる多くの浅いネットワークとして説明されています。記事に画像があります。説明付きで添付します: 残余ネットワークは従来、式(1)の自然な表現である(a)として示されます。この定式化を方程式(6)に展開すると、3ブロックの残差ネットワーク(b)の解明されたビューが得られます。このビューから、残差ネットワークには入力と出力を接続するO(2 ^ n)暗黙パスがあり、ブロックを追加するとパスの数が2倍になることは明らかです。 記事の終わりにそれは述べられています: それは深さではなく、残差ネットワークを強くするアンサンブルです。残りのネットワークは、ネットワークの深さではなく、ネットワークの多重度の限界を押し上げます。我々の提案された解明された見解と病変研究は、残余ネットワークが指数関数的に多くのネットワークの潜在的なアンサンブルであることを示しています。勾配に寄与するパスのほとんどがネットワークの全体的な深さに比べて非常に短い場合、深さの増加 だけでは、残余ネットワークの主要な特徴にはなりません。パスの数に関するネットワークの表現可能性である多重度が重要な役割を果たすと私たちは今考えています。 しかし、それは確認または反駁できる最近の理論にすぎません。一部の理論が反駁され、記事が取り下げられることが時々起こります。 結局、深いResNetをアンサンブルと考える必要がありますか?アンサンブルまたは深度により、残存ネットワークが非常に強くなりますか?開発者自身でさえ、自分のモデルが何を表しているのか、そしてその中の主要な概念は何であるかをまったく認識していない可能性はありますか?

5
ディープニューラルネットワークとディープラーニングが一般的な知能を実現するには不十分なのはなぜですか
ディープラーニング(DL)およびディープ(er)ネットワークに関連するすべてのものは「成功」しているように見え、少なくとも非常に速く進行しており、AGIが到達可能であるという信念を育んでいます。これは人気のある想像です。DLは、AGIの作成など、非常に多くの問題に取り組むためのすばらしいツールです。しかし、それだけでは十分ではありません。ツールは必要な要素ですが、多くの場合不十分です。 ドメインの主要人物は、他の場所で進歩を目指しています。このレポート/クレームには、Yoshua Bengio、Yann LeCun、Geoff Hintonの声明へのリンクが集められています。レポートはまた説明します: DLの主な弱点(私がそれらを見ると)は、次のとおりです。最も単純な可能なモデルニューロンへの依存(LeCunがそれらを呼び出すときの「漫画」)。エネルギー関数と対数尤度法の基礎である19世紀の統計力学と統計からのアイデアの使用。バックプロップや確率勾配降下法などの手法でこれらを組み合わせると、適用範囲が非常に限定され(オフライン、ほとんどがバッチ処理、教師あり学習)、高度な才能を持つ実務家(別名「確率的大学院降下」)が必要になり、大量の高価なラベル付きのトレーニングデータと計算能力。才能を誘惑または購入し、無制限のリソースを展開してデータを収集し、それを処理することができる大企業にとっては優れていますが、DLはほとんどの人にとってアクセスも有用でもありません。 このような説明は興味深く関連性がありますが、実際には問題の要点を扱っていません。何が不足していますか? 質問は広いようですが、それは単純な答えがないためかもしれません。AGIに欠けているDLを特定する方法はありますか?




1
DNNの実際の使用におけるホワイトノイズの問題はどのくらいですか?
私は、ディープニューラルネットワークが比較的簡単にだまされ(リンク)、信頼性の対象から完全に(または少なくとも大部分)除外されている合成/人工画像の認識に高い信頼を与えることができることを読みました。 個人的には、合成/人工画像に高い信頼性を与えるDNNの大きな問題は実際にはないと思いますが、これはカメラが見る可能性がある本当に自然な現象であるため、ホワイトノイズ(リンク)に高い信頼性を与えることは問題になると思います現実世界では。 DNNの実際の使用におけるホワイトノイズの問題はどのくらいですか?プレーンノイズからこのような誤検知を検出できますか?

2
双曲線正接ニューロンとシグモイドニューロンの違いは何ですか?
ディープラーニングで使用される2つの一般的な活性化関数は、双曲線正接関数とシグモイド活性化関数です。双曲線正接はシグモイド関数の再スケーリングと変換にすぎないと理解しています。 tanh(z)=2σ(z)−1tanh⁡(z)=2σ(z)−1\tanh(z) = 2\sigma(z) - 1。 これらの2つのアクティベーション関数の間に大きな違いはありますか、特に、一方が他方より好ましい場合はいつですか? (確率を推定する場合など)場合によっては、範囲の出力が範囲の出力よりも便利であることを理解しています。2つのアクティベーション機能を区別する便利さ以外の違いがあるかどうかを知りたいです。[0,1][0,1][0,1][−1,1][−1,1][-1,1]
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.