タグ付けされた質問 「deep-learning」

ニューラルネットワークをトレーニングしていますが、トレーニングの損失は減りません。どうすれば修正できますか？ 過剰適合や正則化については質問していません。ネットワークのパフォーマンスがトレーニングセットで改善されない問題を解決する方法について質問しています。 この質問は意図的に一般的なものであるため、ニューラルネットワークのトレーニング方法に関する他の質問は、この質問の複製として閉じることができます。釣りをする人、あなたは彼の人生の残りの間彼を養うことができる 議論については、このメタスレッドを参照してください。「私のニューラルネットワークが機能しないので、修正してください」という質問に答える最良の方法は何ですか？ ニューラルネットワークが一般化されていない場合は、次を参照してください：ニューラルネットワークが一般化されていない場合はどうすればよいですか？

147 neural-networks  deep-learning 

最先端の非線形性は、ディープニューラルネットワークでシグモイド関数の代わりに整流線形ユニット（ReLU）を使用することです。利点は何ですか？ ReLUが使用されているときにネットワークをトレーニングする方が速くなることを知っています。それはより生物学的なインスピレーションです。他の利点は何ですか？（つまり、シグモイドを使用することの欠点）？

141 machine-learning  neural-networks  deep-learning 

最近、私はディープラーニングについて読んでいますが、用語（またはテクノロジー）について混乱しています。違いは何ですか 畳み込みニューラルネットワーク（CNN）、 制限付きボルツマンマシン（RBM）および 自動エンコーダー？

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

これらの用語で正確に述べられた質問を見たことがないので、新しい質問をするのはこのためです。 私が知りたいのは、ニューラルネットワークの定義ではなく、ディープニューラルネットワークとの実際の違いを理解することです。 コンテキストについて：ニューラルネットワークとは何か、逆伝播がどのように機能するかを知っています。DNNには複数の非表示層が必要であることを知っています。しかし、10年前のクラスでは、ニューラルネットワークが表現できる機能の点で、複数の層または1つの層（入力層と出力層をカウントしない）を持つことは同等であることを知りました（サイベンコの普遍近似定理を参照）、そしてレイヤーが増えると、パフォーマンスが向上せずに分析が複雑になります。明らかに、そうではありません。 私はおそらく間違っていると思いますが、違いは構造ではなくトレーニングアルゴリズムとプロパティの面にあり、したがって、答えがDNNへの移行を可能にした理由を強調することができれば本当に感謝します（たとえば、数学的な証明またはネットワークでランダムに遊ぶ？）および望ましい（例：収束の速度？）

114 neural-networks  deep-learning 

現在、Udacity Deep Learning Tutorialを行っています。レッスン3では、1x1畳み込みについて説明します。この1x1コンボリューションは、Google Inception Moduleで使用されます。1x1コンボリューションとは何かを理解できません。 Yann Lecunによるこの投稿も見ました。 誰かが親切にこれを私に説明できますか？

106 neural-networks  deep-learning  convolution  conv-neural-network 

画像を正規化する方法にはいくつかのバリエーションがありますが、ほとんどは次の2つの方法を使用しているようです。 すべての画像について計算されたチャネルごとの平均値を引きます（例： VGG_ILSVRC_16_layers） すべての画像について計算されたピクセル/チャネルで減算します（例：CNN_S、Caffeの参照ネットワークも参照） 私の考えでは、自然なアプローチで各画像を正規化します。昼光下で撮影された画像は、夜間の画像よりも多くのニューロンを発火させますが、通常、エッジなどに存在するより興味深い特徴に関心がある時間を通知する場合があります。 Pierre Sermanetは3.3.3で、画像ごとのローカルコントラスト正規化を参照していますが、これまでに見た例/チュートリアルではこれに遭遇していません。また、興味深いQuoraの質問とXiu-Shen Weiの投稿を見ましたが、上記の2つのアプローチをサポートしていないようです。 正確に何が欠けていますか？これは色の正規化の問題ですか、それとも多くの人がこのアプローチを使用する理由を実際に説明する論文がありますか？

88 deep-learning  image-processing 

近年、畳み込みニューラルネットワーク（または一般的にはディープニューラルネットワーク）はますます深くなり、最先端のネットワークは4層で7層（AlexNet）から1000層（残余ネット）になります年。より深いネットワークからのパフォーマンスの向上の背後にある理由は、より複雑な非線形関数を学習できるからです。十分なトレーニングデータがある場合、これにより、ネットワークは異なるクラスをより簡単に区別できます。 ただし、この傾向は各レイヤーのパラメーターの数では続かないようです。たとえば、畳み込みレイヤーのフィーチャマップの数、または完全に接続されたレイヤーのノードの数は、レイヤー数が大幅に増加したにもかかわらず、ほぼ同じままで、規模は比較的小さいままです。しかし、私の直感からは、レイヤーごとのパラメーターの数を増やすと、各レイヤーに非線形関数を学習するための豊富なデータソースが与えられるように思えます。しかし、この考え方は、それぞれが少数のパラメーターを持つレイヤーを追加するだけで、見過ごされていたようです。 したがって、ネットワークは「より深く」なっていますが、「より広く」はなりません。どうしてこれなの？

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

確率的勾配降下のエポックは、データの単一パスとして定義されます。SGDミニバッチごとに、kkkサンプルが描画され、勾配が計算され、パラメーターが更新されます。エポック設定では、サンプルは置換なしで描画されます。 しかし、これは不要なようです。各反復でデータセット全体からランダムに描画されるので、各SGDミニバッチを描画しないのはなぜkkkですか？多数のエポックで、サンプルが多少の頻度で見られる小さな偏差は重要ではないように思われます。

69 neural-networks  deep-learning  gradient-descent 

人々が「深い信念」のネットワークに言及しているとき、これは基本的にニューラルネットワークであるが非常に大きいという印象を受けています。これは正しいですか、または深い信念ネットワークは、アルゴリズム自体が異なることを暗示していますか（つまり、フィードフォワードニューラルネットはないが、おそらくフィードバックループのあるもの）。

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

ディープラーニングニューラルネットワーク用の優れたRライブラリがあるかどうか疑問に思っていましたか？私は知っているnnet、neuralnetとRSNNS、これらのどれも深い学習方法を実装するように見えるん。 特に、教師なし学習に続いて教師なし学習に興味があり、ドロップアウトを使用して共同適応を防ぎます。 / edit：数年後、h20ディープラーニングパッケージは非常に適切に設計され、インストールが簡単であることがわかりました。mxnetパッケージも大好きです。これはインストールが（少し）難しいですが、covnetなどをサポートし、GPU上で実行され、非常に高速です。

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

私はディープラーニングの分野で新しく、最初のステップはdeeplearning.netサイトから興味深い記事を読むことでした。ディープラーニングに関する論文では、ヒントンと他の人は主にそれを画像の問題に適用することについて話します。誰かが私に答えようとすることができますか？それは時系列値（金融、インターネットトラフィックなど）を予測する問題に適用できますか？それが可能であれば私が焦点を当てる必要がある重要なことは何ですか？

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

ほとんどのTensorflowコードで、Adam Optimizerが一定の学習率1e-4（つまり0.0001）で使用されているのを見ました。通常、コードは次のようになります。 ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = tf.initialize_all_variables() # launch the graph in a session sess = tf.Session() # Actually intialize the variables sess.run(init_op) # now …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

リカレントニューラルネットワークと再帰ニューラルネットワークがあります。通常、両方とも同じ頭字語RNNで示されます。ウィキペディアによると、リカレントNNは実際には再帰NNですが、説明は本当にわかりません。 さらに、私はどちらが自然言語処理のために優れているか（例などを使って）見つけることができないようです。事実、SocherはチュートリアルでNLPにRecursive NNを使用していますが、再帰ニューラルネットワークの適切な実装を見つけることができず、Googleで検索すると、ほとんどの回答がRecurrent NNに関するものです。 それに加えて、NLPにより適した別のDNNがありますか、それともNLPタスクに依存しますか？Deep Belief NetsまたはStacked Autoencoders？（私はNLPでConvNetsの特定のユーティリティを見つけていないようで、ほとんどの実装はマシンビジョンを念頭に置いています）。 最後に、PythonやMatlab / Octaveではなく、C ++（GPUサポートがある場合はさらに良い）またはScala（Sparkサポートがある場合は良い）のDNN実装を本当に好むでしょう。 Deeplearning4jを試しましたが、絶えず開発されており、ドキュメントは少し時代遅れであり、動作させることができないようです。残念なことに、それは物事のやり方のような「ブラックボックス」を持っているので、scikit-learnやWekaにとてもよく似ています。

48 machine-learning  neural-networks  deep-learning  natural-language 

近年、畳み込みニューラルネットワーク（CNN）は、コンピュータービジョンにおけるオブジェクト認識の最先端技術になりました。通常、CNNは複数の畳み込み層で構成され、その後に2つの完全に接続された層が続きます。この背後にある直感は、畳み込み層が入力データのより良い表現を学習し、完全に接続された層がラベルのセットに基づいてこの表現を分類することを学習することです。 ただし、CNNが支配を開始する前は、サポートベクターマシン（SVM）が最先端でした。そのため、SVMは2層の完全に接続されたニューラルネットワークよりも依然として強力な分類器であると言えます。したがって、なぜ最新のCNNがSVMではなく完全に接続されたレイヤーを分類に使用する傾向があるのか​​疑問に思っていますか？このように、強力な特徴表現ではなく、強力な特徴表現と弱い分類子のみの両方の長所があります。 何か案は？

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

で、最近のブログ記事：栄GEが、それはと言われていました ディープネットの学習を含む多くの問題では、ほとんどすべてのローカルミニマムはグローバル最適と非常に類似した関数値を持っているため、ローカルミニマムを見つけるだけで十分であると考えられています。 この信念はどこから来たのですか？

46 machine-learning  neural-networks  optimization  deep-learning