LSTMのどの層にドロップアウトしますか？

LSTMドロップアウト付きのマルチレイヤーを使用して、すべての非表示レイヤーと出力の高密度レイヤーにドロップアウトを配置することをお勧めしますか？ヒントンの論文（Dropoutを提案）で彼はDropoutをDenseレイヤーにのみ配置しましたが、それは隠された内部レイヤーが畳み込みであったためです。

もちろん、特定のモデルをテストすることはできますが、これについてコンセンサスがあるのか​​どうか疑問に思いました。

LSTM特定の明確な理由により、セルにドロップアウトを追加しない方がよいと思います。LSTMs長期的には良いですが、それらについての重要なことは、彼らが複数のことを同時に記憶することはあまり上手ではないということです。ドロップアウトのロジックは、特定のニューロンに依存しないようにするためにニューロンにノイズを追加するためのものです。LSTM細胞のドロップアウトを追加することで、忘れてはならないものを忘れる可能性があります。その結果、CNNs私はいつもレイヤーの後の密なレイヤーでドロップアウトを使用することを好むようにLSTM。

すべてのモデルタイプで証明できるコンセンサスはありません。

ドロップアウトを正則化の一種として考えると、どれだけ適用するか（どこに適用するか）は、本質的にデータセットのタイプとサイズ、および構築されたモデルの複雑さ（大きさ）に依存します。