タグ付けされた質問 「neural-networks」

スパースコーディングは、入力ベクトル（<-なぜこれが必要なのか）を表すために、基底ベクトルの過剰なセットを学習することと定義されます。スパースコーディングとオートエンコーダーの違いは何ですか？スパースコーディングとオートエンコーダを使用するのはいつですか？

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

私は各方法の長所と短所を議論するいくつかの論文を読みました。GAが最適な解決策を見つけるのに何の改善ももたらさないと主張する人もいれば、それがより効果的であることを示す人もいます。文学では一般的にGAが好まれているようですが（ほとんどの場合、人々は必要な結果を得るために何らかの方法でそれを変更します）、ソフトウェアソリューションの大半は逆伝播のみを使用するように見えるのはなぜですか？ どちらを使用するかについて、一般的な経験則はありますか？多分それはNNのタイプに依存するか、一般的に他のものよりも優れた最先端のソリューションが存在しますか？ 可能であれば、一般的な答えを探しています。つまり、「NNが大きい場合、GAの方が良い」、または「GAは常に優れていますが、計算パフォーマンスの問題があります」などです。

34 neural-networks  genetic-algorithms  backpropagation 

それらはすべて、ノードによってランダム変数を表し、（場合によっては）エッジを介して（独立）依存関係を表すようです。特にベイジアンの視点に興味があります。

34 causality  neural-networks  multilevel-analysis  graphical-model 

深い畳み込みニューラルネットワークの事前トレーニングに関する文献を見たことがありますか？オートエンコーダーまたは制限付きボルトマンマシンで、教師なしの事前トレーニングを見たことがあります。

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

ストリーミングデータセットがありますが、例は一度に1つずつ入手できます。それらに対してマルチクラス分類を行う必要があります。学習プロセスにトレーニング例を提供したらすぐに、その例を破棄する必要があります。同時に、ラベルなしデータの予測を実行するために最新のモデルも使用しています。 私の知る限り、ニューラルネットワークは、サンプルを1つずつフィードし、そのサンプルで順伝播と逆伝播を実行することにより、ストリーム学習を行うことができます。 SVMは一度に1つの例を学習するストリームを実行し、すぐに例を破棄できますか？

33 machine-learning  svm  neural-networks 

ニューラルネットワークを使用したモデリングは初めてですが、観測されたデータによく適合するすべての利用可能なデータポイントでニューラルネットワークを確立することができました。ニューラルネットワークは、nnetパッケージを使用してRで実行されました。 require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ ., data = MyData, size = 6, decay = 0.1, maxit = 1000) mynnet.predict <- predict(mynnet.fit)*33.80 mean((mynnet.predict - MyData$DOC)^2) ## mean squared error was 16.5 分析中のデータは次のようになります。DOCはモデル化する必要のある変数です（約17,000の観測値があります）。 Q GW_level Temp t_sum DOC 1 0.045 0.070 12.50 0.2 11.17 2 0.046 …

33 r  neural-networks 

Andrew NgのCourseraのニューラルネットワークとディープラーニングコースでは、tanhtanhtanhを使用することはを使用するよりもほぼ常に好ましいと述べていsigmoidsigmoidsigmoidます。 彼が与える理由は、を使用する出力tanhtanhtanhはsigmoidsigmoidsigmoidの0.5 ではなく0を中心とし、これにより「次の層の学習が少し簡単になる」からです。 アクティベーションの出力速度を中心に学習するのはなぜですか？バックプロップ中に学習が行われると、彼は前のレイヤーを参照していると思いますか？ tanhtanhtanh推奨する他の機能はありますか？より急な勾配は、消失する勾配を遅らせますか？ sigmoidsigmoidsigmoidが望ましい状況はありますか？ 数学的に軽く、直感的な回答が望ましい。

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

https://en.wikipedia.org/wiki/Generative_adversarial_networksを読みます： [ジェネレーティブな敵対的ネットワーク]は、2014年にIan Goodfellowらによって導入されました。 しかし、Jurgen Schmidhuberは、その方向で以前に同様の作業を実行したと主張しています（たとえば、生成的敵対ネットワークチュートリアル中にNIPS 2016で議論がありました：https ://channel9.msdn.com/Events/Neural-Information-Processing-Systems- Conference / Neural-Information-Processing-Systems-Conference-NIPS-2016 / Generative-Adversarial-Networksを参照1h03min）。 ジェネレーティブな敵対的ネットワークの背後にあるアイデアは、ユルゲン・シュミットフーバーによって最初に公開されましたか？そうでない場合、ユルゲン・シュミットフーバーのアイデアはどの程度似ていましたか？

32 neural-networks  history  gan 

私はニューラルネットワークを初めて使用しますが、それらの理解に非常に興味があります。しかし、始めるのは簡単ではありません。 誰かが良い本や他の種類のリソースを推薦できますか？必読はありますか？ どんな種類のヒントにも感謝しています。

32 machine-learning  neural-networks  references 

統計学のバックグラウンドを持たない聴衆に対して、ロジスティック回帰とニューラルネットワークの違いをどのように説明しますか？

32 logistic  neural-networks 

コンピュータは長い間、「ブルートフォース」技術を使用してチェスをプレイし、特定の深さまで検索してから位置を評価することができました。ただし、AlphaGoコンピューターはANNのみを使用して位置を評価します（私が知る限り、深さ検索は行いません）。AlphaGoがGoをプレイするのと同じ方法でチェスをプレイするチェスエンジンを作成することは可能ですか？なぜ誰もこれをしなかったのですか？このプログラムは、今日のトップチェスエンジン（およびチェスプレイヤー）よりも優れたパフォーマンスを発揮しますか？

32 neural-networks  deep-learning  reinforcement-learning  games 

イントロの背景 たたみ込みニューラルネットワーク内では、通常、次のような一般的な構造/フローがあります。 入力画像（つまり、2Dベクトルx） （最初の畳み込み層（Conv1）はここから始まります...） w12D画像に沿ってフィルターのセット（）を畳み込みます（つまり、z1 = w1*x + b1内積の乗算を行います）。ここz1で3D b1はバイアスです。 アクティベーション関数（ReLuなど）を適用して、z1非線形（egなどa1 = ReLu(z1)）を作成しa1ます。ここで3Dです。 （2番目の畳み込み層（Conv2）はここから始まります...） 新しく計算されたアクティベーションに沿って一連のフィルターを畳み込みます（つまり、z2 = w2*a1 + b2内積の乗算を行います）。ここでz2は3Dであり、b2バイアスです。 アクティベーション関数（ReLuなど）を適用して、z2非線形（egなどa2 = ReLu(z2)）を作成しa2ます。ここで3Dです。 質問 「機能マップ」という用語の定義は、文学ごとに異なるようです。具体的に： 1番目の畳み込み層の場合、「機能マップ」は入力ベクトルx、または出力ドット積z1、または出力アクティベーションa1、またはに変換xする「プロセス」a1、または他の何かに対応しますか？ 同様に、2番目の畳み込み層の場合、「機能マップ」は入力アクティベーションa1、または出力ドット積z2、または出力アクティベーションa2、またはに変換a1する「プロセス」a2、または他の何かに対応しますか？ また、「機能マップ」という用語が「アクティベーションマップ」とまったく同じというのは本当ですか？（または、実際には2つの異なる意味ですか？） 追加の参照： ニューラルネットワークとディープラーニングのスニペット-章6： *ここで命名法は大まかに使用されています。特に、「機能マップ」を使用して、畳み込み層によって計算された関数ではなく、層から出力される隠されたニューロンの活性化を意味しています。このような命名法の軽度の乱用は、研究文献ではかなり一般的です。 Matt Zeilerによる畳み込みネットワークの視覚化と理解からの抜粋： このペーパーでは、モデル内の任意のレイヤーで個々の機能マップを励起する入力刺激を明らかにする視覚化手法を紹介します。[...]これとは対照的に、アプローチは不変量のノンパラメトリックビューを提供し、トレーニングセットのどのパターンが機能マップをアクティブにするかを示します。[...]フィーチャマップ全体の応答を正規化するローカルコントラスト操作。[...]指定されたconvnetアクティベーションを調べるために、レイヤー内の他のすべてのアクティベーションをゼロに設定し、接続されたdeconvnetレイヤーへの入力として機能マップを渡します。[...] convnetは、relu非線形性を使用します。これにより、フィーチャマップが修正され、フィーチャマップが常に正であることが保証されます。[...] convnetは、学習したフィルターを使用して、前のレイヤーの機能マップを畳み込みます。[...]図6 これらの視覚化は、モデル内の特定の機能マップを刺激する入力パターンの正確な表現です。パターンに対応する元の入力画像の部分が遮られると、機能マップ内のアクティビティが明確に低下します。[...] 備考：図1に「機能マップ」と「修正された機能マップ」という用語も導入されています スニペットCNNのスタンフォードCS231n章： [...]この視覚化で簡単に気付かれる危険な落とし穴の1つは、いくつかのアクティベーションマップが多くの異なる入力に対してすべてゼロになる可能性があることです。猫の写真を見ている訓練を受けたAlexNetの最初のCONVレイヤー（左）と5番目のCONVレイヤー（右）の典型的な外観のアクティベーション。すべてのボックスには、フィルターに対応するアクティベーションマップが表示されます。アクティベーションがまばらであり（この視覚化では黒で示されているように、ほとんどの値はゼロです）、ほとんどローカルであることに注意してください。 A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networksのスニペット [...]入力ボリューム上の一意の場所ごとに番号が生成されます。すべての場所でフィルターをスライドすると、残っているのは28 x 28 x 1の数字の配列であり、これをアクティベーションマップまたはフィーチャマップと呼びます。

32 neural-networks  deep-learning  conv-neural-network 

入力が画像で、ラベルが80から350の間の連続値である回帰問題に取り組んでいます。画像は、反応が起こった後のいくつかの化学物質のものです。判明する色は、残りの別の化学物質の濃度を示し、それがモデルが出力するものです-その化学物質の濃度。画像は回転、反転、ミラー化できますが、期待される出力は同じままです。この種の分析は実際のラボで行われます（このモデルをトレーニングするのと同じように、非常に特殊な機械が色分析を使用して化学物質の濃度を出力します）。 これまでのところ、おおよそVGG（conv-conv-conv-poolブロックの複数のシーケンス）に基づいたモデルで実験したことがあります。より最近のアーキテクチャ（Inception、ResNetなど）を試す前に、画像を使用した回帰でより一般的に使用される他のアーキテクチャがあるかどうかを調査したいと思いました。 データセットは次のようになります。 データセットには約5,000の250x250のサンプルが含まれていますが、64x64にサイズ変更したため、トレーニングが簡単になりました。有望なアーキテクチャを見つけたら、より大きな解像度の画像で実験します。 これまでのところ、私の最良のモデルでは、トレーニングセットと検証セットの両方で約0.3の平均二乗誤差があり、これは私のユースケースでは受け入れられません。 これまでの私の最高のモデルは次のようになります。 // pseudo code x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

私はしばらくの間LSTMを研究してきました。私はすべてがどのように機能するかを高いレベルで理解しています。ただし、Tensorflowを使用して実装する場合、BasicLSTMCellには多数のユニット（つまりnum_units）パラメーターが必要であることに気付きました。 LSTMのこの非常に徹底的な説明から、単一のLSTMユニットが次のいずれかであることがわかりました。 これは実際にはGRUユニットです。 のパラメーターnum_unitsは、BasicLSTMCellレイヤー内で相互に接続するこれらの数を参照していると想定しています。 それは疑問を残します-この文脈での「セル」とは何ですか？「セル」は、通常のフィードフォワードニューラルネットワークのレイヤーと同等ですか？

32 neural-networks  terminology  lstm  rnn  tensorflow 

なぜニューラルネットワークで整流線形ユニット（ReLU）を使用するのですか？それはどのようにニューラルネットワークを改善しますか？ ReLUはアクティベーション関数であると言うのはなぜですか？ニューラルネットワークのソフトマックス活性化関数ではないですか？次のように、ReLUとsoftmaxの両方を使用すると推測しています。 softmax出力のニューロン1 ----> ニューロン2の入力であるニューロン1の出力のReLU ---> softmax出力のニューロン2-> ... そのため、ニューロン2の入力は基本的にReLU（softmax（x1））です。これは正しいです？

31 neural-networks