GRU over LSTMを使用する場合

GRUとLSTMの主な違いは、GRUには2つのゲート（リセットおよび更新ゲート）があり、LSTMには3つのゲート（つまり、入力、出力、および忘却ゲート）があることです。

（3つのゲートがあるので）LSTMモデルを介してネットワークをより明確に制御できるのに、なぜGRUを使用するのですか？どのシナリオでGRUがLSTMよりも優先されますか？

GRUはLSTMに関連しています。これは、勾配情報の消失を防ぐために情報をゲーティングする場合、両方が異なる方法を利用しているためです。GRU対LSTMについてのいくつかのピンポイントはここにあります-

• GRUは、LSTMユニットのように情報の流れを制御しますが、メモリユニットを使用する必要はありません。コントロールなしで完全な非表示コンテンツを公開するだけです。
• GRUは比較的新しいものであり、私の観点からすると、パフォーマンスはLSTMと同等ですが、計算効率は向上しています（指摘されているように構造が複雑ではありません）。そのため、ますます使用されるようになっています。

詳細な説明については、この研究論文-Arxiv.orgをご覧ください。論文はこれをすべて見事に説明しています。

さらに、これらのブログを調べて、より良いアイデアを見つけることもできます。

• WildML
• Colah-Github

それが役に立てば幸い！

*すでに上記の素晴らしい答えを補完するために。

• 私の経験から、GRUは、言語モデリング（他のタスクについては不明）を実行している場合、より少ないトレーニングデータで LSTMよりも速くトレーニングし、パフォーマンスが向上します。

• GRUはより単純であるため、変更が容易です。たとえば、ネットワークへの追加入力の場合に新しいゲートを追加します。一般的にはコードが少なくなります。

• 理論的には、LSTMはGRU より長いシーケンスを記憶し、長距離関係のモデリングを必要とするタスクでそれらを上回る必要があります。

* GRUおよびLSTMを分析するいくつかの追加の論文。

• 「ニューラルGPUがアルゴリズムを学ぶ」（ŁukaszKaiser、Ilya Sutskever、2015） https://arxiv.org/abs/1511.08228

• 「自然言語処理のためのCNNとRNNの比較研究」（Wenpeng Yin et al。2017）https://arxiv.org/abs/1702.01923

この答えは、実際にはデータセットとユースケースにあります。どちらが良いかを明確に伝えるのは難しいです。

• GRUはLSTMとは異なりメモリ全体を公開するため、利点として機能するアプリケーションが役立つ場合があります。また、GRUを使用する理由に加えて、ゲートが2つしかないため、LSTMよりも計算が簡単であり、パフォーマンスがLSTMと同等であれば、なぜそうではないのでしょうか？
• このペーパーでは、単純なRNNに対するゲートネットワークの優位性をグラフで示していますが、どちらが優れているかを結論付けることはできません。したがって、どちらをモデルとして使用するかについて混乱している場合は、両方をトレーニングしてから、それらをより良くすることをお勧めします。

フルGRUユニット

$\tilde{c}_t = \tanh(W_c [G_r * c_{t-1}, x_t ] + b_c)$

$G_u = \sigma(W_u [ c_{t-1}, x_t ] + b_u)$

$G_r = \sigma(W_r [ c_{t-1}, x_t ] + b_r)$

$c_t = G_u * \tilde{c}_t + (1 - G_u) * c_{t-1}$

$a_t = c_t$

LSTMユニット

$\tilde{c}_t = \tanh(W_c [ a_{t-1}, x_t ] + b_c)$

$G_u = \sigma(W_u [ a_{t-1}, x_t ] + b_u)$

$G_f = \sigma(W_f [ a_{t-1}, x_t ] + b_f)$

$G_o = \sigma(W_o [ a_{t-1}, x_t ] + b_o)$

$c_t = G_u * \tilde{c}_t + G_f * c_{t-1}$

$a_t = G_o * tanh(c_t)$

方程式からわかるように、LSTMには個別の更新ゲートと忘却ゲートがあります。これにより、明らかにLSTMはより高度になりますが、同時により複雑になります。特定のユースケースに使用するものを決定する簡単な方法はありません。パフォーマンスをテストするには、常に試行錯誤を行う必要があります。ただし、GRUはLSTMよりも単純であるため、GRUのトレーニング時間は大幅に短縮され、効率が向上します。

クレジット：Andrew Ng

GRUは変更が容易で、メモリユニットを必要としないため、LSTMよりも優れています。したがって、LSTMよりも高速にトレーニングし、パフォーマンスに応じて提供します。

実際、重要な違いはそれだけではありません。Long-ShortTerm（LSTM）パーセプトロンは、運動量および勾配降下アルゴリズムを使用して構成されています。LSTMパーセプトロンを対応する再帰RNNと調和させると、GRUは実際には単なる一般化された反復単位または（コンテキストに応じて）勾配反復単位（運動量と勾配降下アルゴリズムをより密接に統合する）になります。私なら、AdamOptimizersについてさらに調査します。

ところで、GRUは時代遅れの概念です。ただし、中程度の高度なTFの詳細な知識が必要な場合は、それを調査していることを理解できます。