リカレントニューラルネットワークの構造（LSTM、GRU）

私はRNNのアーキテクチャを理解しようとしています。私は非常に役立つこのチュートリアルを見つけました：http : //colah.github.io/posts/2015-08-Understanding-LSTMs/

特にこの画像：

これはフィードフォワードネットワークにどのように適合しますか？この画像は、各レイヤーの別のノードですか？

$h_t$$t$$x_t$$h_{t-1}$

$h_t$

画像では、Aは1つの非表示のニューロンを持つ1つの非表示のレイヤーです。左から右に時間軸があり、下部には毎回入力があります。上部にネットワークを追加するには、レイヤーを追加します。

このネットワークを時間内に展開すると、写真に視覚的に示されているように（左から右に時間軸が展開されます）、それぞれにT（時間ステップの合計数）の非表示レイヤーを含むフィードフォワードネットワークが得られます。中央のAブロックに描かれている単一ノード（ニューロン）。

これがあなたの質問に答えることを願っています。

その単純な図を、比較的複雑なコンテキストで説明したいと思います。それは、seq2seqモデルのデコーダーにおける注意メカニズムです。

$h_0$$h_{k-1}$$x_i$。これを使用して問題を説明します。これは、タイムステップのすべての状態が、最後の状態を取得するためだけに破棄されるのではなく、アテンションメカニズムのために保存されるためです。これは1つのニューラルであり、レイヤーとして表示されます（複数のレイヤーを積み重ねて、たとえば一部のseq2seqモデルで双方向エンコーダーを形成して、より高いレイヤーでより抽象的な情報を抽出できます）。

次に、Lテンソル（各形状：num_hidden / num_units * 1）のリストに、文（Lワードとそれぞれが形状のベクトルとして表されるembedding_dimention * 1）をエンコードします。そして、デコーダーを通過する状態は、リスト内の各項目の同じ形の文の埋め込みとしての最後のベクトルにすぎません。

画像ソース：注意メカニズム