k分割交差検証は、トレーニング/検証/テストセットのコンテキストでどのように適合しますか？

私の主な質問は、k-foldクロス検証がトレーニング/検証/テストセット（このようなコンテキストにまったく当てはまる場合）のコンテキストにどのように適合するかを理解しようとすることです。

通常、人々はデータをトレーニング、検証、およびテストセットに分割することを話します。たとえば、Andrew Ngのコースごとに60/20/20の比率で-モデルトレーニングの最適なパラメーターを識別するために検証セットが使用されます。

ただし、データ量が比較的少ない場合に、より代表的な精度測定値を取得するためにk分割交差検証を使用したい場合、k分割交差検証を実行すると、この60/20/20分割が正確に行われます。シナリオ？

たとえば、実際にトレーニングセットとテストセット（データの80％）を組み合わせ、それらに対してk分割交差検証を行って精度測定値（明示的な「テストセット」を持つことで効果的に破棄）を取得することを意味しますか？もしそうなら、どのトレーニング済みモデルを使用しますか？たとえば、aとbの考えられる答えの1つは、おそらくベストフォールドモデルを使用することです。

通常、相互検証は、検証セットの必要性を回避するのに役立ちます。

トレーニング/検証/テストデータセットの基本的な考え方は次のとおりです。

1. トレーニング：トレーニングデータのハイパーパラメータの選択が異なるさまざまなタイプのモデルを試します（たとえば、特徴の選択が異なる線形モデル、レイヤーの選択が異なるニューラルネット、mtryの値が異なるランダムフォレスト）。

2. 検証：検証セットに基づいてステップ1のモデルのパフォーマンスを比較し、勝者を選択します。これは、トレーニングデータセットを過剰に適合させることによって行われる誤った決定を回避するのに役立ちます。

3. テスト：テストデータで勝者モデルを試して、実際のパフォーマンスを実感します。これにより、ステップ2で導入された過剰適合が解明されます。ここでは、これ以上の決定は行いません。単なるわかりやすい情報です。

これで、検証ステップを相互検証に置き換える場合、データへの攻撃はほぼ同じように行われますが、トレーニングとテストデータセットしかありません。検証データセットは必要ありません。

1. トレーニング：上記を参照してください。

2. 検証：トレーニングデータを相互検証して、相互検証のパフォーマンスに関してステップ1の最適なモデルを選択します（ここで、元のトレーニングデータは一時的なトレーニングと検証セットに繰り返し分割されます）。相互検証で計算されたモデルは、ステップ1の最適なモデルを選択するためにのみ使用されます。これらのモデルはすべて、完全なトレーニングセットで計算されます。

3. テスト：上記を参照してください。

$K$

トレーニング/検証/テストに分割することも、サンプリング戦略です。

$K$

$K-1$