タグ付けされた質問 「lstm」

3
Keras LSTMについて
私はLSTMの理解を調整するために努力しており、この記事でKerasに実装されているChristopher Olahによって指摘されています。Jaras BrownleeがKerasチュートリアルとして書いたブログをフォローしています。主に混乱しているのは、 [samples, time steps, features]およびへのデータ系列の再形成 ステートフルLSTM 以下に貼り付けたコードを参照して、上記の2つの質問に集中してみましょう。 # reshape into X=t and Y=t+1 look_back = 3 trainX, trainY = create_dataset(train, look_back) testX, testY = create_dataset(test, look_back) # reshape input to be [samples, time steps, features] trainX = numpy.reshape(trainX, (trainX.shape[0], look_back, 1)) testX = numpy.reshape(testX, (testX.shape[0], look_back, 1)) ######################## …

6
TensorFlowでグラデーションクリッピングを適用する方法は?
サンプルコードを考えてみましょう。 グラデーションが爆発する可能性があるRNN上のこのネットワークにグラデーションクリッピングを適用する方法を知りたいです。 tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) これは使用できる例ですが、どこに導入すればよいですか?RNNのデフォルトで lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn cell needs a list of inputs for the RNN inner loop _X = tf.split(0, n_steps, _X) # n_steps tf.clip_by_value(_X, -1, 1, name=None) しかし、テンソル_Xは入力であり、何がクリップされる卒業生ではないので、これは意味がありませんか? これに対して独自のオプティマイザを定義する必要がありますか、それともより簡単なオプションがありますか?

6
PyTorch-contiguous()
私はgithub (リンク)でLSTM言語モデルのこの例を調べていました。それが一般的に何をするかは私にはかなり明白です。しかしcontiguous()、コード内で数回発生する呼び出しが何をするのかを理解するのにまだ苦労しています。 たとえば、コードの74/75行目に、LSTMの入力シーケンスとターゲットシーケンスが作成されます。データ(に格納されているids)は2次元であり、最初の次元はバッチサイズです。 for i in range(0, ids.size(1) - seq_length, seq_length): # Get batch inputs and targets inputs = Variable(ids[:, i:i+seq_length]) targets = Variable(ids[:, (i+1):(i+1)+seq_length].contiguous()) したがって、簡単な例として、バッチサイズ1およびseq_length10を使用するinputsと、targets次のようになります。 inputs Variable containing: 0 1 2 3 4 5 6 7 8 9 [torch.LongTensor of size 1x10] targets Variable containing: 1 2 3 4 …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.