畳み込みニューラルネットワークの過剰適合を特定する方法


9

ドロップアウトを使用してネットワークへの過剰な適合を減らすことを理解しています。これは一般化手法です。

畳み込みニューラルネットワークでは、どのようにして過剰適合を特定できますか?

私が考えることができる1つの状況は、テストまたは検証の精度と比較してトレーニングの精度が高すぎる場合です。その場合、モデルはトレーニングサンプルにオーバーフィットしようとし、テストサンプルには不十分なパフォーマンスを示します。

これは、ドロップアウトを適用するか、ドロップアウトをモデルに盲目的に追加する必要があるかどうかを示す唯一の方法ですか?


1
私の知る限り、中退は決して害にはなりません。過剰適合の可能性を監視する別の方法は、体重の大きさをグラフ化することです。重量が大きいとオーバーフィットにつながります。
Frobot 2016年

回答:


14

畳み込みニューラルネットワークでは、どのようにして過剰適合を特定できますか?

トレーニングのパフォーマンス(精度など)とテストまたは検証のパフォーマンスを比較することが唯一の方法です(これがオーバーイッティングの定義です)。

ここに画像の説明を入力してください

ドロップアウトをモデルに盲目的に追加して、テストまたは検証の精度を向上させたいですか

ドロップアウトはしばしば役立ちますが、最適なドロップアウト率はデータセットとモデルに依存します。ドロップアウトは、ネットワークのさまざまなレイヤーにも適用できます。IEEE SLT 2016のダイアログ法分類のためのガウスプロセスによるニューラルネットワークハイパーパラメーターの最適化の例:

ここに画像の説明を入力してください

また、早期停止を行うこともできます。

ここに画像の説明を入力してください

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.