データをトレーニングセットとテストセットに分割するだけでは不十分な理由

分類器のパフォーマンスにアクセスするには、データをトレーニング/テストセットに分割する必要があることを知っています。しかし、これを読んで：

SVM用に手動で設定する必要があるC設定など、推定器のさまざまな設定（「ハイパーパラメーター」）を評価する場合、推定器が最適に実行されるまでパラメーターを微調整できるため、テストセットでオーバーフィットするリスクが依然としてあります。この方法では、テストセットに関する知識がモデルに「漏れ」、評価メトリックが一般化パフォーマンスについてレポートしなくなります。この問題を解決するために、データセットのさらに別の部分をいわゆる「検証セット」として保持することができます。トレーニングはトレーニングセットで進行し、その後検証セットで評価が行われ、実験が成功したと思われる場合、テストセットで最終評価を行うことができます。

ハイパーパラメーターの調整中にテストセットをオーバーフィットすることで正当化される、別の（3番目の）検証セットが導入されていることがわかります。

問題は、この過剰適合がどのように表示されるかを理解できないため、3番目のセットの正当性を理解できないことです。

トレーニングデータのみでモデルをトレーニングしている場合でも、テストセットに基づいてハイパーパラメーター（SVMのなど）を最適化しています。そのため、パフォーマンスの推定値は楽観的である可能性があります。これは、基本的にベストケースの結果を報告しているためです。このサイトの一部ですでに述べたように、最適化は統計上のすべての悪の根源です。$C$

パフォーマンスの推定は、常に完全に独立したデータで行う必要があります。テストデータに基づいていくつかの側面を最適化する場合、テストデータは独立していないため、検証セットが必要になります。

これに対処する別の方法は、相互にラップされた2つの相互検証手順で構成されるネストされた相互検証によるものです。内側の交差検証はチューニングで使用され（最適化されたハイパーパラメーターの特定のセットのパフォーマンスを推定するため）、外側の交差検証は機械学習パイプライン全体の一般化パフォーマンスを推定します（つまり、ハイパーパラメーターの最適化+最終モデルのトレーニング） ）。

このように物事を考えるのが最も簡単だと思います。クロス検証は、モデル/アルゴリズムのハイパーパラメーターの調整、およびモデル/アルゴリズムのパフォーマンスの評価に使用されます。

アルゴリズムの実際のトレーニングの一部として最初の使用を検討してください。たとえば、GLMの正則化強度を決定するための相互検証は、GLMの最終結果を確立する一環です。この使用法は通常、内部相互検証と呼ばれます。（ハイパー）パラメーターはまだ設定されているため、チューニングセットの損失は実際のアルゴリズムのパフォーマンスの優れた尺度ではありません。

クロス検証の2番目の使用法は、モデルを作成したプロセス全体で保持されたデータを使用して、予測力をテストすることです。このプロセスは、外部相互検証と呼ばれます。

内部検証は、モデルを作成したプロセスの一部である可能性があるため、多くの場合、内部および外部の両方の相互検証が必要であることに注意してください。

モデルの構築中に、トレーニングサンプルでモデルをトレーニングします。異なるモデルをトレーニングできることに注意してください（つまり、SVM、LDA、ランダムフォレストなどの異なる手法、またはチューニングパラメーターの値が異なる同じ手法、または混合）。

トレーニングしたすべての異なるモデルの中から1つを選択する必要があるため、検証サンプルを使用して、テストサンプルでエラーが最小のモデルを見つけます。

この「最終」モデルでは、まだ誤差を推定する必要があるため、テストサンプルを使用します。

交差検定は、モデル選択における過剰適合の問題を完全に克服するものではなく、単に減らすだけです。相互検証エラーは、使用するデータセットによって異なります。データセットが小さいほど、相互検証エラーが大きくなります。

さらに、モデル選択の自由度が高い場合、相互検証基準がオーバーフィットするため、モデルのパフォーマンスが低下する危険があります。

したがって、データが2つのセット（トレーニングセットとテストセット）に分割されると、分割は静的に行われます。そのため、トレーニングセットが過剰に適合する可能性があります。ただし、クロス検証セットは、k分割クロス検証、Leave-out-one-cross-validation（LOOCV）などのさまざまな方法で作成されます。これにより、2セット分割の正確な適合報酬が確実に排除されます。したがって、オーバーフィットの可能性が減少します。

これらは、理解を深めるのに役立つリソースです。

そのため、小さいデータセットではなく、大きなデータセットがある場合にクロス検証が役立ちます。