LSTMトポロジーについて


9

他の多くの人がそうであるように、私はここここのリソースがLSTMセルを理解するのに非常に役立つことがわかりました。値がどのように流れて更新されるかを理解していると確信しており、前述の「のぞき穴の接続」なども追加できると確信しています。

私の例では、各時間ステップで長さの入力ベクトルと長さiの出力ベクトルがoありo < iます。

どちらのページでも実際にカバーされていないのは、これらがどのように配置およびトレーニングされるかです。

2つの質問があります。

  1. 私のトレーニングデータには、多くの時間単位に対応する多くの入力/出力ベクトルのペアがあります。すべてのデータを使用してLSTMをトレーニングするとします。その後、任意の長さの入力セットを実行できますか?たとえば、2015年と2016年全体のトレーニングデータがある場合、2017年のデータをネットワーク経由で実行できますか?それとも2017年から2020年か?
  2. 私が読んだことによると、時間単位ごとに1つのLSTMセルがあるように感じるので、多くの時間単位がある場合は、多くの連鎖LSTMセルがあります。チェーンの長さはネットワークを介して実行したいデータの長さに依存し、おそらく任意であるため、数を複製する単一のLSTMセルのみをトレーニングしない限り、これをトレーニングする方法がわかりません回。だから、私は単一のLSTMセルをトレーニングし、nそれらを長さの指定された入力ベクトルリストに対して一緒にチェーンするように思われnますか?単一のLSTMセルには多くの要素と機能が含まれていますが、それほど多くの情報を非常に小さなものにキャプチャするだけでは十分ではないように感じますか?

ありがとう。実装の詳細を理解するのに役立つ、(比較的迅速に)消費できる他のリソースはありますか?上記の2つのリンクは、何が起こっているのかについてのすばらしい高レベルの画像を提供しましたが、これらの詳細をキャプチャできませんでした。

回答:


1

すべてのデータを使用してLSTMをトレーニングするとします。その後、任意の長さの入力セットを実行できますか?

抽象的には、はい。ただし、一部のソフトウェア実装には、変数を固定サイズにする必要があるかどうか、または変数サイズにすることができるかどうかについて厳しい規則があるため、プログラミングの観点から、正しく実装していることを確認する必要があります。

それで、私は単一のLSTMセルをトレーニングし、長さnの指定された入力ベクトルリストに対してそれらのnを一緒にチェーンするように思われますか?

いいえ。各セルはすべての時間単位を処理します。それがそれらを再発させるものです:セルはセルのメモリ状態を更新することによって入力処理します。次の時間ユニットは、前のメモリ状態との関数である新たな入力。xtxt+1

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.