過剰適合質問

その過剰適合を検討しますか？

overfitting

回答:

いいえ、それは過剰適合の例ではありません！トレーニングの損失が減少している間に有効な損失が増加し始めた場合、それは過適合です。

編集：2番目の質問に対する回答 aucの計算方法を検討する価値があります。各インスタンスが陽性クラスに属する確率があります。次に、これらの確率を並べ替えます。ソートされたリストの最初の部分にすべての正のインスタンスが表示され、2番目にすべての負のインスタンスが表示される場合、aucは1（aucの観察による「完全なパフォーマンス」）です。

$loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ $y_i$ $p(y_i)$ $y_i$

そのため、損失を評価する必要があると思います。

— ラナ
ソース

トレーニングと検証の間の損失の違いは過剰適合を示していませんが、ラナに感謝しますか？

— Nickolas Papanikolaou

@NickolasPapanikolaouトレーニングセットと検証セットで損失が異なる場合、それは正常です。モデルがトレーニングセットですでに見たデータに慣れるためです（テスト、検証、トレーニングへの分割が通常実行される理由です）。ただし、テストデータのモデルパフォーマンスが示すように、そのモデルは引き続きいくつかの有用な情報を抽出しているため、学習プロセスは進行していますが、以前よりも遅くなっています。

— ラナ

いいえ、これは過剰適合ではありません。

まず第一に、AUCはトレーニングセットと検証セットの間でまったく同じです。損失にはギャップがある場合がありますが、検証の損失は（たとえゆっくりであっても）減少しているため、問題ありません。

— ハビエル
ソース

これはどうですか？その場合、検証の損失は増加していますが、AUCは同じパターンに従っていないため、損失とパフォーマンスのどちらを信じますか？

— ニコラス・パパニコロウ
ソース

ホールドアウトテストセットのAUCが0.928であることに言及するのを忘れていました

— Papanikolaou

どの損失がありますか？トレインとテストセットのクラスの分布とは何ですか？

— ラナ

私はこの質問に答え、最初の回答を編集しました。この場合、オーバーフィッティングがあり、損失パフォーマンスを評価する必要があります

— Lana

したがって、あなたの新しい質問と私の版は、ハビエルによって作られた仮定に対する議論です：「最初にすべてのAUCはトレインと検証セットの間でまったく同じです」。それが主な理由ではないかもしれません

— ラナ

3つのセット（トレーニング、検証、テスト）はすべて完全にバランスが取れているため、binary_crossentropyを使用しました。私は問題がAUCに関連していると思います。なぜなら、曲線が逸脱する精度（オーバーフィッティングの兆候）を使用した場合、あなたの答えに感謝します

— Nickolas Papanikolaou