タグ付けされた質問 「lstm」

CNNは何百もの隠れ層を持つことができ、それらはしばしば画像データで使用されるため、多くの層を持つとより複雑になります。 ただし、私が見た限りでは、RNNには通常、2〜4などのいくつかのレイヤーがあります。たとえば、心電図（ECG）の分類では、4層のLSTMと10〜15層のCNNを使用した論文で同様の結果が得られました。 これは、RNN / LSTMが（勾配消失の問題により）より深い場合、トレーニングが難しくなるためか、RNN / LSTMがシーケンシャルデータをすばやくオーバーフィットする傾向があるためですか？

8 deep-learning  cnn  lstm  rnn  feature-extraction 

LSTMを使用して、時系列の1ステップ先の予測を行いたい。アルゴリズムを理解するために、私はおもちゃの例を作成しました：単純な自己相関プロセス。 def my_process(n, p, drift=0, displacement=0): x = np.zeros(n) for i in range(1, n): x[i] = drift * i + p * x[i-1] + (1-p) * np.random.randn() return x + displacement 次に、この例に従ってKerasでLSTMモデルを作成しました。p=0.99長さの自己相関が高いプロセスをシミュレートn=10000し、その最初の80％でニューラルネットワークをトレーニングし、残りの20％に対して1ステップ先の予測を実行させました。 私が設定した場合drift=0, displacement=0、すべてが正常に動作します： それから私は設定しdrift=0, displacement=10、物事は洋ナシ形になりました（y軸の異なるスケールに注意してください）： [ - 1 、1 ][−1、1][-1, 1] 次に、を設定しdrift=0.00001, displacement=10、データを再度正規化して、その上でアルゴリズムを実行しました。これはよく見えません： バツt− Xt − 1バツt−バツt−1X_{t} - X_{t-1}バツtバツtX_t …

8 python  keras  time-series  lstm 

私が持っているXマトリックス、y変数、および他の変数をORTHO_VAR。私はをy使用して変数を予測する必要がありますXが、そのモデルからの予測は、可能な限りORTHO_VAR相関する一方で、直交する必要がありますy。 私は予測がノンパラメトリックな方法で生成されることを望みxgboost.XGBRegressorますが、どうしても必要な場合は線形法を使用できます。 このコード： import numpy as np import pandas as pd from sklearn.datasets import make_regression from xgboost import XGBRegressor ORTHO_VAR = 'ortho_var' TARGET = 'target' PRED = 'yhat' # Create regression dataset with two correlated targets X, y = make_regression(n_features=20, random_state=245, n_targets=2) indep_vars = ['var{}'.format(i) for i in range(X.shape[1])] # …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

生の加速度計データx、y、zを対応するラベルに分類しようとしています。 最良の結果を得るための最良のアーキテクチャは何ですか？ または、入力ノードと出力ノードを備えたケラ上に構築されたLSTMアーキテクチャについて何か提案はありますか？

8 classification  keras  time-series  lstm  multiclass-classification 

私はディープラーニングとLSTM（ケラを使用）を初めて使用します。私は、マルチステップ先の時系列予測を解決しようとしています。A、B、Cの3つの時系列があり、Cの値を予測したいと思います。LSTMをトレーニングして、データポイントを3ステップ戻し、将来の3ステップを予測しています。入力データは次のようになります。 X = [[[A0, B0, C0],[A1, B1, C1],[A2, B2, C2]],[[ ...]]] 寸法：(1000, 3, 3)。出力は次のとおりです。 y = [[C3, C4, C5],[C4, C5, C6],...] 寸法：(1000, 3)。 1つの非表示レイヤー（50ニューロン）を持つ単純なLSTMを使用しています。私はケラスを使ってLSTMを次のように設定しました： n_features = 3 neurons = 50 ahead = 3 model = Sequential() model.add(LSTM(input_dim=n_features, output_dim=neurons)) model.add(Dropout(.2)) model.add(Dense(input_dim=neurons, output_dim=ahead)) model.add(Activation('linear')) model.compile(loss='mae', optimizer='adam') model.fit(X, y, epochs=50) このモデルは正常に動作します。ここで、（同じ入力を使用して）Bの値も予測したいと思います。したがって、複数の機能を持つトレーニングの場合と同じように、出力を再形成しようとしました。 y = …

7 python  time-series  keras  lstm