ディープニューラルネットでの次のカリキュラム学習の実装には何が欠けていますか？

まず、分類タスクがあります。
したがって、分類には典型的なソフトマックスクロスエントロピーを使用します。

カリキュラム学習の現在の実装は次のとおりです。

• まず、ニューラルネットの最適なバージョンをトレーニングします
• 最後のエポックで、すべてのインスタンスのすべてのクロスエントロピーを取得します。そのため、小さいクロスエントロピーはより適切に分類され、大きいものはそれほど適切ではありません。
• 次に、クロスエントロピーに基づいてインスタンスを並べ替えます。
• 次に、カリキュラム学習理論が示唆するように、インスタンスのトレーニングをより簡単なものから難しいものへと始めます

すでにさまざまなステップと繰り返しを試していることに注意してください。したがって、1つの例では、最初の200バッチを取得し、次のバッチに進む前に2回トレーニングし、エポックが完了するまで続けました。
別の例では、最初の10バッチを取得し、それらを1回だけトレーニングしてから、次の10と次の10を、エポックの終わりまで続けます。

これまでのすべての実験は、ニューラルネットワークは最初は比較的問題のない精度であると結論しており、より困難なインスタンスが発生すると、これは悪化します。最終的な精度は予想よりもはるかに悪く、最大の精度はまだかなり悪いです。

このカリキュラムの学習が機能しないのはなぜですか？不足しているものはありますか？

ここで何が起こっているのかを理解するには、さらに多くの情報が必要です。いくつかの可能性が含まれます：

• 「ハード」な例は実際には学習不可能です。これを確認するには、ハードサンプルに最低限オーバーフィットできるかどうか、および人間としてハードサンプルに正しくラベルを付けることができるかどうかを確認します。

• ネットワークは、ハードな例を学習するのに十分な大きさではありません。つまり、ハードな例を学習できることは確かです。それは、ネットワークがそれを行うのに十分複雑ではないということだけです。この場合も、人間としてハードインスタンスの正しいラベルを理解できるかどうかを確認することで確認できます。

• あなたのカリキュラムの学習は実際にトレーニングを傷つけているかもしれません。トレーニングの最後では、ネットワークには最も問題のある例しか表示されていません。これらの例は、ネットワークに最大の変化を引き起こし、短期間の勾配爆発を引き起こす可能性があります。これが起こっているかどうかを確認するには、ハードサンプルのトレーニングの最後に、「簡単な」サンプルのパフォーマンスが大幅に低下しているかどうかを確認します。ここでの解決策の1つは、難易度で並べ替えた後、トレーニングセットを徐々に拡張するようなものです。したがって、1万の簡単な例と1万のハードの例がある場合は、ネットワークのパフォーマンスに満足するまで、1万の簡単な1と1倍のハードでトレーニングし、次に次の1の難しい例を追加してトレーニングセットを増やしてください。