タグ付けされた質問 「training-error」

この質問にはすでに回答があります： コスト関数の変化はどのようにプラスになりますか？ （1つの答え） ニューラルネットワークが学習しない場合はどうすればよいですか？ （5つの答え） 先月閉鎖されました。 モデル（リカレントニューラルネットワーク）をトレーニングして、4種類のシーケンスを分類しています。トレーニングを実行すると、トレーニングバッチのサンプルの90％以上を正しく分類するまで、トレーニングの損失が減少します。しかし、数エポック後に、トレーニングの損失が増加し、精度が低下することに気付きました。トレーニングセットでは、パフォーマンスが時間の経過とともに悪化することなく改善されると予想されるため、これは私にとって奇妙に思えます。クロスエントロピー損失を使用しており、学習率は0.0002です。 更新：学習率が高すぎることが判明しました。学習率が十分に低い場合、この動作は観察されません。しかし、私はまだこの奇妙なことを見つけます。これが起こる理由についての良い説明は大歓迎です

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

統計学習入門を読んでいました。ここではそれが示されています：- 後の例では、トレーニングとテストのMSEがプロットされています。バイアス^ 2と分散の両方が正の量である場合、MSEを分散よりも低くする方法を知りたいと思いました。

7 regression  mse  training-error  bias-variance-tradeoff