トレーニング損失は時間とともに増加します[複製]

モデル（リカレントニューラルネットワーク）をトレーニングして、4種類のシーケンスを分類しています。トレーニングを実行すると、トレーニングバッチのサンプルの90％以上を正しく分類するまで、トレーニングの損失が減少します。しかし、数エポック後に、トレーニングの損失が増加し、精度が低下することに気付きました。トレーニングセットでは、パフォーマンスが時間の経過とともに悪化することなく改善されると予想されるため、これは私にとって奇妙に思えます。クロスエントロピー損失を使用しており、学習率は0.0002です。

更新：学習率が高すぎることが判明しました。学習率が十分に低い場合、この動作は観察されません。しかし、私はまだこの奇妙なことを見つけます。これが起こる理由についての良い説明は大歓迎です

CNNをトレーニングするとき、このような同様の動作がありました。これは、誤差計算に学習率の減衰を伴う勾配降下を使用したためです。反復回数を大幅に増やして、新しい低学習率でこの動作がずっと遅くなるかどうかを確認しましたか？

学習率が大きすぎるため、発散し、​​損失関数の最小値を見つけることができないためです。特定のエポック後に学習率を下げるためにスケジューラを使用すると、問題の解決に役立ちます

学習率が高いと、勾配と反対の方向に動きすぎて、損失を増やす可能性のある局所的な最小値から遠ざかる可能性があります。学習率のスケジューリングと勾配クリッピングが役立ちます。