タグ付けされた質問 「neural-networks」

tanhアクティベーション機能は次のとおりです。 tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 ここで、シグモイド関数は、次のように定義される。。σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} 質問： これら2つのアクティベーション関数（tanhとsigma）を使用することは本当に重要ですか？ どの場合にどの機能が優れていますか？

82 machine-learning  neural-networks  optimization  cost-maximization 

近年、畳み込みニューラルネットワーク（または一般的にはディープニューラルネットワーク）はますます深くなり、最先端のネットワークは4層で7層（AlexNet）から1000層（残余ネット）になります年。より深いネットワークからのパフォーマンスの向上の背後にある理由は、より複雑な非線形関数を学習できるからです。十分なトレーニングデータがある場合、これにより、ネットワークは異なるクラスをより簡単に区別できます。 ただし、この傾向は各レイヤーのパラメーターの数では続かないようです。たとえば、畳み込みレイヤーのフィーチャマップの数、または完全に接続されたレイヤーのノードの数は、レイヤー数が大幅に増加したにもかかわらず、ほぼ同じままで、規模は比較的小さいままです。しかし、私の直感からは、レイヤーごとのパラメーターの数を増やすと、各レイヤーに非線形関数を学習するための豊富なデータソースが与えられるように思えます。しかし、この考え方は、それぞれが少数のパラメーターを持つレイヤーを追加するだけで、見過ごされていたようです。 したがって、ネットワークは「より深く」なっていますが、「より広く」はなりません。どうしてこれなの？

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

確率的勾配降下のエポックは、データの単一パスとして定義されます。SGDミニバッチごとに、kkkサンプルが描画され、勾配が計算され、パラメーターが更新されます。エポック設定では、サンプルは置換なしで描画されます。 しかし、これは不要なようです。各反復でデータセット全体からランダムに描画されるので、各SGDミニバッチを描画しないのはなぜkkkですか？多数のエポックで、サンプルが多少の頻度で見られる小さな偏差は重要ではないように思われます。

69 neural-networks  deep-learning  gradient-descent 

聞いたところでは、ニューラルネットワークの初期重みを範囲から選択するのは良い考えだと思います。ここでは特定のニューロンへの入力の数。セットは正規化されていると想定されます-平均0、分散1（これが重要かどうかわからない）。d（− 1d√、1d√）(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd なぜこれが良い考えですか？

68 neural-networks  normalization 

リカレントニューラルネットワークは、「通常の」ニューラルネットワークとは、「メモリ」層を持っているという事実によって異なります。この層のため、リカレントNNは時系列モデリングに役立つと思われます。ただし、それらの使用方法を正しく理解しているかどうかはわかりません。 ：のは、（左から右に）私は、次の時系列を持っているとしましょう[0, 1, 2, 3, 4, 5, 6, 7]、私の目標は、予測することでiポイントを使用して番目のポイントをi-1してi-2（それぞれの入力などi>2）。「通常の」非定期的なANNでは、次のようにデータを処理します。 target| input 2| 1 0 3| 2 1 4| 3 2 5| 4 3 6| 5 4 7| 6 5 次に、2つの入力ノードと1つの出力ノードを持つネットを作成し、上記のデータでトレーニングします。 リカレントネットワークの場合、このプロセスを（もしあれば）変更する必要がありますか？

67 time-series  machine-learning  neural-networks 

ニューラルネットワークのドロップアウトレイヤーを配置する場所に関する一般的なガイドラインはありますか？

65 neural-networks  dropout 

ニューラルネットワークをトレーニングして、オブジェクトのセットをnクラスに分類しています。各オブジェクトは、同時に複数のクラスに属することができます（マルチクラス、マルチラベル）。 マルチクラス問題の場合、一般に、mseの代わりにソフトマックスとカテゴリクロスエントロピーを損失関数として使用することをお勧めしますが、その理由はだいたいわかります。 マルチラベルの私の問題については、各クラスの確率が互いに独立している必要があるため、もちろんソフトマックスを使用することは意味がありません。したがって、最後のレイヤーは、入力をすべてのクラスの確率範囲0..1に押しつぶすシグモイドユニットです。 今、私はこれにどの損失関数を使用すべきかわからない。カテゴリクロスエントロピーの定義を見ると、1になるはずのニューロンの出力のみが考慮され、他のニューロンは無視されるため、この問題にはあまり当てはまらないと思います。 バイナリクロスエントロピーは、より適切に聞こえますが、出力ニューロンが1つの場合のバイナリ分類の問題については、これまでに言及しただけです。 重要な場合に備えて、トレーニングにpythonとkerasを使用しています。

64 neural-networks  python  loss-functions  keras  cross-entropy 

2歳の人間の子供は、色、メーカーなどに関係なく妥当な精度で識別できるように、車のインスタンスを約5つ必要とします。息子が2歳のとき、彼は、少しだけ。彼は通常、お互いを混同していたため、明らかに彼のニューラルネットワークは十分に訓練されていませんでしたが、それでもまだです。 人工ニューラルネットワークが不足しているため、より速く学習することができません。転移学習は答えですか？

64 neural-networks  neuroscience 

人々が「深い信念」のネットワークに言及しているとき、これは基本的にニューラルネットワークであるが非常に大きいという印象を受けています。これは正しいですか、または深い信念ネットワークは、アルゴリズム自体が異なることを暗示していますか（つまり、フィードフォワードニューラルネットはないが、おそらくフィードバックループのあるもの）。

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

多くの機械学習アルゴリズムは、平均相殺と共分散等化でより良く機能することがわかります。たとえば、ニューラルネットワークはより速く収束する傾向があり、K-Meansは通常、前処理された機能を使用してより良いクラスタリングを提供します。これらの前処理ステップの背後にある直感がパフォーマンスの向上につながるとは思いません。誰かがこれを私に説明できますか？

61 machine-learning  neural-networks  covariance  normalization 

フィードフォワードとリカレントニューラルネットワークの違いは何ですか？ なぜあなたは他の上に1つを使用するのですか？ 他のネットワークトポロジは存在しますか？

58 machine-learning  neural-networks  terminology  rnn  topologies 

この問題に関してこことここで 2つの質問を見つけましたが、まだ明確な答えや説明はありません。検証エラーが私のConvolution Neural Networkのトレーニングエラーよりも小さいという同じ問題を強制します。どういう意味ですか？

57 machine-learning  mathematical-statistics  neural-networks  cross-validation 

PCAと自動エンコーダーの両方が、変位の低減を行うことができますが、それらの違いは何ですか？どのような状況で私は別のものを使うべきですか？

56 machine-learning  pca  neural-networks  autoencoders 

ディープラーニングニューラルネットワーク用の優れたRライブラリがあるかどうか疑問に思っていましたか？私は知っているnnet、neuralnetとRSNNS、これらのどれも深い学習方法を実装するように見えるん。 特に、教師なし学習に続いて教師なし学習に興味があり、ドロップアウトを使用して共同適応を防ぎます。 / edit：数年後、h20ディープラーニングパッケージは非常に適切に設計され、インストールが簡単であることがわかりました。mxnetパッケージも大好きです。これはインストールが（少し）難しいですが、covnetなどをサポートし、GPU上で実行され、非常に高速です。

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

誰かがグローバルな最大プーリング層とは何か、そしてそれをニューラルネットワークのトレーニングに使用する理由と時期を説明できますか？彼らは通常の最大プーリング層よりも利点がありますか？

55 neural-networks  conv-neural-network  pooling