タグ付けされた質問 「neural-networks」

theanoを使用してLSTMを実験してきましたが、どの最適化方法（SGD、Adagrad、Adadelta、RMSprop、Adamなど）がLSTMに最適か疑問に思っていましたか？このトピックに関する研究論文はありますか？ また、答えは、私がLSTMを使用しているアプリケーションのタイプに依存しますか？もしそうなら、私はテキスト分類のためにLSTMを使用しています（テキストは最初に単語ベクトルに変換されます）。 最後に、RNNの回答は同じですか、それとも異なりますか？研究論文へのポインタ、または個人的な洞察は大歓迎です！ LSTMは非常に強力であると思われるため、LSTMの最適な使用方法について詳しく知りたいと思っています。

20 machine-learning  neural-networks  optimization  lstm 

すべての重みを同じ値（たとえば0.5）に初期化すると、逆伝播が機能しないのに、乱数を指定すると正常に機能するのはなぜですか？ 重みが最初は同じであるという事実にもかかわらず、アルゴリズムはエラーを計算してそこから機能するべきではないでしょうか？

20 machine-learning  neural-networks  backpropagation 

ニューラルネットワークの用語（y =重み* x +バイアス）の観点から、どの変数が他の変数よりも重要であるかをどのようにして知ることができますか？ 10個の入力を持つニューラルネットワーク、20個のノードを持つ1つの隠れ層、1つのノードを持つ1つの出力層があります。どの入力変数が他の変数よりも影響力があるかを知る方法がわかりません。私が考えているのは、入力が重要な場合、最初のレイヤーへの重みの高い接続がありますが、重みは正または負になる可能性があるということです。したがって、入力の重みの絶対値を取得し、それらを合計することができます。より重要な入力は、より高い合計を持ちます。 したがって、たとえば、髪の長さが入力の1つである場合、次のレイヤーの各ノードに1つの接続、つまり20の接続（したがって20の重み）が必要です。各重量の絶対値を取り、それらを合計することはできますか？

20 machine-learning  neural-networks  bias  tensorflow  theano 

私は睡眠段階の分類に取り組んでいます。私はこのトピックに関するいくつかの研究記事を読み、それらの多くはSVMまたはアンサンブル法を使用しました。たたみ込みニューラルネットワークを使用して1次元EEG信号を分類するのは良い考えですか？ 私はこの種の仕事に慣れていない。何か間違ったことを聞いたらご容赦ください。

20 neural-networks  svm  conv-neural-network  signal-processing 

ディープニューラルネットワークモデルがあり、約100,000のサンプルで構成されるデータセットで検証する必要があります。検証データには約1000のサンプルが含まれています。各例のトレーニングには時間がかかり（例ごとに約0.5秒）、過剰適合を避けるために、不要な計算を防ぐために早期停止を適用したいと思います。しかし、ニューラルネットワークを早期に停止して適切にトレーニングする方法がわかりません。今では理解できないことがいくつかあります。 適切な検証頻度は何ですか？各エポックの終わりに検証データでモデルをチェックする必要がありますか？（私のバッチサイズは1です） 最初のいくつかのエポックが、より良い価値に収束し始める前に、より悪い結果をもたらすかもしれませんか？その場合、早期停止をチェックする前に、いくつかのエポックについてネットワークをトレーニングする必要がありますか？ 検証の損失が上下する可能性がある場合の対処方法 その場合、早期に停止すると、モデルがさらに学習できなくなる可能性がありますよね？ 前もって感謝します。

19 neural-networks  deep-learning 

時系列データに適用されるさまざまなリカレントニューラルネットワーク（RNN）アーキテクチャを理解しようとしていますが、RNNを説明するときによく使用されるさまざまな名前と少し混同されています。Long Short Term Memory（LSTM）とGated Recurrent Unit（GRU）の構造は、基本的にフィードバックループを備えたRNNですか？

19 neural-networks  lstm  rnn 

最近のニューラルネットワークの有効性にとって、バイアスノードがどれほど重要かを知りたいです。入力変数が少ない浅いネットワークでは重要になることが簡単に理解できます。ただし、ディープラーニングなどの最新のニューラルネットには、特定のニューロンがトリガーされるかどうかを決定するための入力変数が多数あることがよくあります。LeNet5やImageNetなどから単純に削除すると、実際に影響がありますか？

19 neural-networks  deep-learning  bias-node 

私は非常に単純な問題を抱えていますが、それを解決する適切なツールを見つけることができません。 同じ長さのベクトルのシーケンスがいくつかあります。ここで、これらのシーケンスのトレーニングサンプルでLSTM RNNをトレーニングし、いくつかのプライミングベクトルに基づいて長さのベクトルの新しいシーケンスを予測するようにします。nnn これを行う簡単な実装は見つかりません。私の基本言語はPythonですが、何日間もインストールされないものはすべて保持されます。 Lasagneを使用しようとしましたが、RNNの実装はまだ準備ができておらず、別個のパッケージnntoolsにあります。とにかく、私は後者を試しましたが、それを訓練する方法を理解できず、いくつかのテストベクトルでそれを準備し、新しい人を予測させることができません。ブロックも同じ問題です-LSTM RNNのドキュメントはありませんが、動作する可能性のあるクラスと関数がいくつかあるようです（例：）blocks.bricks.recurrent。 そこいくつかのTheanoにおけるRNN LSTMの実装、などがあるGroundHog、theano-rnn、theano_lstmおよびいくつかの論文のためのコードは、しかし、それらの非は私がやりたいことがどのようにチュートリアルやガイドを持っています。 私が見つけた唯一の使用可能な解決策は、Pybrainを使用することでした。しかし、残念なことに、Theanoの機能（主にGPU計算）が欠けており、孤立しています（新しい機能やサポートはありません）。 誰が私が求めているものを見つけることができる場所を知っていますか？ベクトルのシーケンスを予測するためにRNN LSTMを使いやすいですか？ 編集： 私はこのようにケラスを試しました： from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activation from keras.layers.embeddings import Embedding from keras.layers.recurrent import LSTM model = Sequential() model.add(Embedding(12, 256)) model.regularizers = [] model(LSTM(256, 128, activation='sigmoid', inner_activation='hard_sigmoid')) model.add(Dropout(0.5)) model.add(Dense(128, 12)) model.add(Activation('sigmoid')) model.compile(loss='mean_squared_error', optimizer='rmsprop') しかし、フィットしようとするとこのエラーが発生します …

19 neural-networks  python  lstm 

RNNは、予測、またはシーケンスからシーケンスへのマッピングに使用できます。しかし、RNNはどのように分類に使用できますか？つまり、シーケンス全体に1つのラベルを付けます。

19 machine-learning  neural-networks  rnn 

畳み込み層とプーリング層は理解していますが、CNNで完全に接続された層の理由はわかりません。前のレイヤーが出力レイヤーに直接接続されていないのはなぜですか？

19 neural-networks  deep-learning  conv-neural-network 

SVMまたはニューラルネットワークを使用するには、カテゴリ変数を数値変数に変換（エンコード）する必要があります。この場合の通常の方法は、0-1番目のバイナリ値を使用し、k番目のカテゴリ値を（0,0、.. 。、1,0、... 0）（1はk番目の位置にあります）。これを行う他の方法はありますか？特に、0-1表現がニューラルネットワークに多数の追加の次元（入力単位）を導入するようなカテゴリ値（eg10000など）が多数ある場合、これはまったく望ましくない、または予期されないようです？ 私は一般的な戦略について尋ねています。

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

私はよく、人々がニューラルネットワークを、それが何をするのか、または何を意味するのか理解していないブラックボックスのようなものとして話しているのを聞きます。私は実際、それが何を意味するのか理解できません！バックプロパゲーションがどのように機能するかを理解している場合、それはどのようにブラックボックスですか？ それらは、どのように重みが計算されたのか、何を理解していないのか？

19 machine-learning  neural-networks 

多層パーセプトロン（MLP）で使用される逆伝播アルゴリズムについて少し混乱しました。 エラーはコスト関数によって調整されます。バックプロパゲーションでは、隠れ層の重みを調整しようとしています。私が理解できる出力エラー、つまりe = d - y[添え字なし]。 質問は次のとおりです。 隠れ層のエラーはどのようにして得られますか？どのように計算しますか？ バックプロパゲートする場合、重みを更新するために、適応フィルターのコスト関数として使用する必要がありますか、または（C / C ++で）プログラミングの意味でポインターを使用する必要がありますか？

19 machine-learning  neural-networks  backpropagation 

統計的推論とニューラルネットワークは初めてなので、質問は少し奇妙に聞こえるかもしれません。 ニューラルネットワークを使用した分類問題で、入力xの空間を出力yの空間にマッピングする関数を学習したいと言います。f∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y 非線形関数をモデル化するために、または確率密度関数をモデル化するために、パラメーター（θθ\theta）をフィッティングしますか？ 私は質問をより良い方法で書く方法を本当に知りません。私は両方のことを数回読みました（確率密度関数、またはそのような関数）ので、私の混乱。

19 machine-learning  neural-networks 

私の大学院の物理学教授は、ノーブル賞受賞者のファインマンと同様、ハーモニックオシレーター、振り子、こま、トップボックス、ブラックボックスなどの物理学の基本的な概念と方法を説明するために、常にトイモデルと呼ばれるものを提示しました。 ニューラルネットワークのアプリケーションの基礎となる基本的な概念と方法を説明するために、どのおもちゃモデルが使用されていますか？（参考にしてください。） 玩具モデルとは、基本的な方法を提示できる非常に制約のある問題に適用される、特にシンプルで最小サイズのネットワークを意味します。手で基本的な数学をチェックしたり、シンボリック数学アプリで支援したりします。

18 machine-learning  neural-networks  deep-learning