検証の精度は高いが、研究のテストの精度が低い場合はどうなりますか？

機械学習の研究における検証について具体的な質問があります。

私たちが知っているように、機械学習体制は、トレーニングデータでモデルをトレーニングし、検証セットで候補モデルから選択し、テストセットで精度を報告するように研究者に求めます。非常に厳密な研究では、テストセットは1回しか使用できません。しかし、論文を発表する（または提出する）前に、テストの精度が最新の結果よりも良くなるまでパフォーマンスを改善する必要があるため、研究シナリオになることはありません。

ここで問題が発生します。50％が最も最先端の結果であり、私のモデルは一般に50--51の精度を達成できるとしましょう。これは平均して優れています。

ただし、私の最高の検証精度（52％）では、テスト精度が非常に低くなります（例：49％）。次に、検証accをさらに改善できない場合、全体的なパフォーマンスとして49％を報告する必要がありますが、これは望みではありません。これは本当に私が問題を研究することを妨げますが、私の仲間にとっては問題ではありません。52％のaccが見られないからです。

では、人々は通常どのように研究を行っていますか？

同じ状況が発生する可能性があるため、ps k-fold検証は役に立ちません。

定義により、トレーニングの精度（または使用しているメトリック）がテストよりも高い場合、オーバーフィットモデルがあります。本質的に、あなたのモデルは、より大きなデータ母集団には適用できないため、パフォーマンスが低下するトレーニングデータでパフォーマンスを向上させるのに役立つ詳細を学習しました。

k-fold検証が役に立たないと言う理由がわかりません。その目的は、モデルの過剰適合を回避することです。おそらくあなたは十分なデータを持っていませんか？このような声明は重要です。特に、このような相互検証方法が強く推奨される場合に研究を擁護する場合は重要です。

テストセットを1回だけ使用することはできないと言います（ここでもサンプルサイズが小さいと仮定します）。私の経験では、最も一般的なパスは、モデルのk倍交差検証です。サンプルサイズが100の場合、10倍のCVの例を取り上げ、計算を簡単にするために分類問題がバイナリであると仮定します。したがって、データを10個の異なるフォールドに分割しました。次に、モデルを9/10倍に適合させ、1/10を除外しました。この最初の実行では、結果の混同マトリックスは次のとおりです。

    0  1
0   4  1
1   2  3

その後、次の1/10のフォールドを残してこの分析を繰り返し、残りの9/10でトレーニングします。そして、次の混乱マトリックスを入手してください。完了すると、10個の混同行列ができました。次に、これらの行列を合計し（したがって、100個すべてのサンプルが予測されました）、統計（精度、PPV、F1-スコア、カッパなど）を報告します。精度が望んでいるところにない場合、他の多くの可能性があります。

1. モデルを改善する必要がある（パラメーターを変更する）
2. 別の機械学習アルゴリズムを試す必要がある場合があります（すべてのアルゴリズムが同じように作成されるわけではありません）
3. より多くのデータが必要です（微妙な関係を見つけるのは困難です）
4. データの変換を試みる必要がある場合があります（使用するアルゴリズムによって異なります）
5. 従属変数と独立変数の間に関係がない場合があります

問題の事実は、トレーニングよりも低いテストメトリック（精度など）は、新しい予測モデルを作成しようとするときに、モデルが必要以上に適合していることを示しています。