タグ付けされた質問 「rnn」

私はASL（アメリカ手話）ジェスチャーを分類するためのジェスチャー認識システムを構築しようとしているので、入力はカメラまたはビデオファイルからの一連のフレームであると想定されており、シーケンスを検出して対応するものにマッピングしますクラス（睡眠、助け、食べる、走るなど） 問題は、私がすでに同様のシステムを構築したことですが、静止画像（モーションは含まれません）の場合、手があまり動かず、CNNの構築が単純なタスクであるアルファベットの翻訳にのみ役立ちました。データセットの構造も私がケラスを使用していて、おそらくそうするつもりだったので管理可能でした（すべてのフォルダーには特定の標識の画像のセットが含まれており、フォルダーの名前はこの標識のクラス名です：A、B、C 、..） ここでの私の質問、データセットを整理してケラのRNNに入力できるようにするにはどうすればよいですか？モデルと必要なパラメーターを効果的にトレーニングするためにどの特定の関数を使用すればよいですか？TimeDistributedクラスの使用を提案した人もいますが私の好みに合わせてそれを使用する方法について明確なアイデアを持ち、ネットワーク内のすべてのレイヤーの入力形状を考慮に入れます。 また、私のデータセットが画像で構成されることを考えると、たぶん畳み込み層が必要になるでしょう。どのようにしてconv層をLSTM層に組み合わせることが実現可能でしょうか（つまり、コードの観点から）。 たとえば、私は私のデータセットがこのようなものであると想像します 「Run」という名前のフォルダーには3つのフォルダー1、2、3が含まれ、各フォルダーはシーケンスのフレームに対応しています だからRUN_1は、最初のフレームの画像のいくつかのセットが含まれます、RUN_2は、 2フレーム目のためにRun_3第三のために、私のモデルの目的は、単語を出力する。このシーケンスで訓練されるファイル名を指定して実行。

10 neural-network  deep-learning  keras  rnn  lstm 

私はKerasの使用方法を学んでおり、CholletのDeep Learning for Pythonの例を使用して、ラベル付けされたデータセットで妥当な成功を収めました。データセットは、3つの潜在的なクラスを含む長さ3125の〜1000時系列です。 予測率が約70％になる基本的な高密度レイヤーを超えて、LSTMレイヤーとRNNレイヤーについて説明します。 すべての例では、各時系列に複数の機能を持つデータセットを使用しているようであり、結果としてデータを実装する方法を見つけるのに苦労しています。 たとえば、1000x3125の時系列がある場合、それをSimpleRNNやLSTMレイヤーなどにフィードするにはどうすればよいですか？これらのレイヤーの機能に関する基本的な知識が不足していますか？ 現在のコード： import pandas as pd import numpy as np import os from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM, Dropout, SimpleRNN, Embedding, Reshape from keras.utils import to_categorical from keras import regularizers from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt …

10 python  deep-learning  time-series  lstm  rnn 

私はMLとTensorFlowを初めて使用し（数時間前に開始しました）、それを使用して時系列の次のいくつかのデータポイントを予測しようとしています。私は私の入力を受け取り、これを使ってこれを行っています： /----------- x ------------\ .-------------------------------. | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | '-------------------------------' \----------- y ------------/ 私がやっていることは、xを入力データとして使用し、yをその入力の目的の出力として使用して、0〜6を指定すると1〜7（特に7）が得られるようにすることです。ただし、xを入力としてグラフを実行すると、yではなくxに似た予測が得られます。 ここにコードがあります（この投稿とこの投稿に基づいています）： import tensorflow as tf import numpy as np import matplotlib.pyplot as plot import pandas as pd import csv def load_data_points(filename): print("Opening CSV …

10 machine-learning  python  time-series  tensorflow  rnn 

問題にANNを使用したいのですが、問題は入力と出力のノード番号が固定されていないことです。 私は質問をする前にグーグル検索をしましたが、RNNが私の問題を解決するのに役立つことがわかりました。しかし、私が見つけたすべての例は、どういうわけか、入力ノードと出力ノードの数を定義しています。 それで、私は戦略、それをどのように現実のものにするか、または少なくともいくつかの例を探しています。KerasまたはPyTorchで望ましいです。 私の問題の詳細： 2つの入力リストがあります。最初のリストの長さは固定され、2に等しくなります。fe： in_1 = [2,2] ただし、2番目のリストの長さは柔軟で、長さは3からinf、feまで可能です。 in_2 = [1,1,2,2] または in_2 = [1,1,1,2,2,2,3,3,3] また、入力リストは互いに依存しています。最初のリストは、出力リストの次元を示しています。したがって、in_1 = [2,2]の場合、出力は[2,2]形式に再形成される可能性がある必要があることを意味します。 現在、2つの入力リストを1つに結合することを考えています。 in = in_1 + in_2 = [2, 2, 1, 1, 2, 2] さらに、出力の長さはin_2リストと同じです。fi： 入力リストが次の場合： in_1 = [2, 2] in_2 = [1, 1, 2, 2] 出力は次のようになります。 out = [1, 2, 1, …

10 python  neural-network  keras  rnn  pytorch 

私は、EEGコンテキストでリカレントアーキテクチャを解釈する方法を知りたいです。具体的には、これを（LSTMのようなアーキテクチャーとは対照的に）再帰CNNと考えていますが、他のタイプの再帰ネットワークにも適用される可能性があります R-CNNについて読んだとき、それらは通常、画像分類のコンテキストで説明されています。それらは通常、「時間をかけて学習する」または「現在の入力に対するtime-1の影響を含む」と表現されます。 この解釈/説明は、EEGデータを扱うときに本当に混乱します。脳波データで使用されているR-CNNの例はここにあります それぞれが1x512アレイで構成されるトレーニング例があるとします。このアレイは、512の連続した時点で1つの電極の電圧測定値を取得します。これを（1D畳み込みを使用して）再発CNNへの入力として使用すると、モデルの再発部分が実際に「時間」をキャプチャしていませんよね？（前述の説明/説明によって暗示されるように）このコンテキストでは、時間はすでにアレイの2番目の次元によってキャプチャされているため このように設定すると、ネットワークの繰り返し部分によって、通常のCNNが（時間でない場合でも）できないことを実際にモデル化できるようになりますか？ 再発とは、たたみ込みを実行し、その結果を元の入力に追加し、再度たたみ込みを行うことを意味するだけのようです。これはx回の反復ステップで繰り返されます。このプロセスは実際にどのような利点をもたらしますか？

10 machine-learning  neural-network  convnet  rnn 

シェイクスピアのようなテキストを生成するLSTMモデルからの印象的な結果を見ました。LSTMパッケージがRに存在するかどうか疑問に思っていました。Googleでググってみましたが、PythonとJuliaのパッケージしか見つかりませんでした。（おそらく、これらのプログラムがRよりも優先される理由を説明するパフォーマンスの問題があるかもしれません）RのLSTM（または少なくともRNN）パッケージについて知っていますか？存在する場合、それらを使用するためのチュートリアルはありますか？

10 r  neural-network  rnn 

CNNは何百もの隠れ層を持つことができ、それらはしばしば画像データで使用されるため、多くの層を持つとより複雑になります。 ただし、私が見た限りでは、RNNには通常、2〜4などのいくつかのレイヤーがあります。たとえば、心電図（ECG）の分類では、4層のLSTMと10〜15層のCNNを使用した論文で同様の結果が得られました。 これは、RNN / LSTMが（勾配消失の問題により）より深い場合、トレーニングが難しくなるためか、RNN / LSTMがシーケンシャルデータをすばやくオーバーフィットする傾向があるためですか？

8 deep-learning  cnn  lstm  rnn  feature-extraction 

私は最近、与えられた数の入力、非表示のノード、および入力と同じ数の出力で、バニラニューラルネットワークがどのように機能するかを学びました。 私はリカレントニューラルネットワークに関連するさまざまな投稿を見てきましたが、その背後にある概念は理解していますが、RNNの背後にあるロジックの特定の部分は理解できません。 ここに私が持っている4つの主な質問があります： 再帰型ニューラルネットワークで逆伝播はどのように機能しますか？ 入力から非表示ノードにつながる重みは、他のすべてのステップで同じですか？非表示ノードから出力までの重みはどうですか？ バイアスはリカレントニューラルネットワークでどのように機能するのですか？ 活性化関数としてシグモイド関数の代わりにタン関数が通常使用されるのはなぜですか？ これらの質問のいくつかは非常に基本的であることに気づきましたが、基本は今まさに必要なものだと思います。 関連する動画や投稿へのリンクも非常に役立ち、正しい結果を示すGoogleキーワードも役立ちます。これら4つの質問は、サンプルのPythonコードを理解するのを妨げているため、本当に助けが必要です。

8 machine-learning  python  neural-network  rnn 

RNNのトレーニングが通常、GPUの100％を使用しないのはなぜですか。 たとえば、Ubuntu 14.04.4 LTS x64上のMaxwell Titan XでこのRNNベンチマークを実行すると、GPU使用率は90％未満になります。 ベンチマークは次のコマンドを使用して起動されました： python rnn.py -n 'fastlstm' -l 1024 -s 30 -b 128 ボトルネックを診断するにはどうすればよいですか？

8 performance  theano  rnn  gpu 

私はこの論文「ニューラルネットワークによるシーケンス学習へのシーケンス」を読んでいますhttp://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf 「2.モデル」の下でそれは言う： LSTMはこの条件付き確率を計算します。最初に、LSTMの最後の非表示状態によって与えられる入力シーケンス（x1、...、xT）の固定次元表現vを取得し、次にy1、...の確率を計算します。。。、yT 'と標準のLSTM-LM公式を使用して、初期の隠蔽状態をx1の表現vに設定します。。。、xT： LSTMとは何か知っていますが、LSTM-LMとは何ですか？私はそれをグーグルで試しましたが、良いリードを見つけることができません。

8 machine-learning  neural-network  nlp  rnn  machine-translation 

私が持っているXマトリックス、y変数、および他の変数をORTHO_VAR。私はをy使用して変数を予測する必要がありますXが、そのモデルからの予測は、可能な限りORTHO_VAR相関する一方で、直交する必要がありますy。 私は予測がノンパラメトリックな方法で生成されることを望みxgboost.XGBRegressorますが、どうしても必要な場合は線形法を使用できます。 このコード： import numpy as np import pandas as pd from sklearn.datasets import make_regression from xgboost import XGBRegressor ORTHO_VAR = 'ortho_var' TARGET = 'target' PRED = 'yhat' # Create regression dataset with two correlated targets X, y = make_regression(n_features=20, random_state=245, n_targets=2) indep_vars = ['var{}'.format(i) for i in range(X.shape[1])] # …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

以下のような単語画像があります。 256x64画像だとしましょう。私の目的は、画像からテキストを抽出することです73791096754314441539。これは、基本的にOCRが行うことです。 画像から単語を認識できるモデルを作ろうとしています。 私が言葉を言っているとき、それは次のいずれかであることができます： 辞書の単語、非辞書の単語 az、AZ、特殊文字を含む spaces 以下のようにテンソルフローでモデル（会社のポリシーによりスニペット）を作成しました： inputs = tf.placeholder(tf.float32, [common.BATCH_SIZE, common.OUTPUT_SHAPE[1], common.OUTPUT_SHAPE[0], 1]) # Here we use sparse_placeholder that will generate a # SparseTensor required by ctc_loss op. targets = tf.sparse_placeholder(tf.int32) # 1d array of size [batch_size] seq_len = tf.placeholder(tf.int32, [common.BATCH_SIZE]) model = tf.layers.conv2d(inputs, 64, (3,3),strides=(1, 1), padding='same', …

6 neural-network  deep-learning  tensorflow  rnn  ocr