入れ子の交差検証-トレーニングセットのkfold CVによるモデル選択とどう違うのですか？

5x2相互検証について、ネストされた相互検証の特別なケースとして話している人がよくいます。

最初の数（ここでは：5）は内側のループの折り目の数を指し、2番目の数（ここでは：2）は外側のループの折り目の数を指していると思いますか？では、これは「従来の」モデルの選択と評価のアプローチとどう違うのでしょうか。「伝統的」とは

データセットを個別のトレーニング（80％など）とテストセットに分割する
トレーニングセットでのハイパーパラメーター調整とモデル選択にk分割交差検証（たとえば、k = 10）を使用する
テストセットを使用して、選択したモデルの汎化性能を評価する

5 = 2は、k = 2の場合にテストとトレーニングセットのサイズが等しいことを除いて、まったく同じではありませんか？

machine-learning cross-validation hyperparameter

あなたは正しいです、この場合、それは同じですが、80/20の代わりに外側のループで50/50の分割を使用します。一般的に、これは一般化のパフォーマンスをより適切に推定するため、特にサンプルサイズが比較的小さい場合に推奨されます。私の経験から、ネストされたCVの場合でも、パフォーマンスの見積もりは大きく異なります。一般化されたパフォーマンスの適切な見積もりを取得するには、ネストされたCVを複数回実行する方がよい場合がよくあります。

— ジョージ

ありがとう、理にかなっています！ただし、小規模なトレーニングセットの場合は、おそらく内部ループと外部ループのフォールドの数を増やします。分散を減らすだけでなく、バイアスを増やすこともできます

一般に、5x2のネストされたCVを実行する代わりに、通常、k = 5または10で（k-1）xkを実行します。サンプル数が少ない場合は、フォールドの数を増やす代わりに、kの値を小さくします。

— ジョージ

私はあなたがそれを完全に間違っているのではなく逆に持っていたと思いますが、受け入れられた答えは私が参照しようとしている出典と一致しないかもしれません。RaschkaによるPython Machine Learningでは、「特定のタイプのネストされたクロス検証は5x2クロス検証とも呼ばれます」と言及しています。2がハイパーパラメータチューニングの内側のループを指し、5が不偏モデルパフォーマンス推定の外側のループを指していることを示すグラフィックが含まれています。グラフィックのカラーコピーは、シナリオ3の以下の場所にあります：sebastianraschka.com/faq/docs/evaluate-a-model.html

— Austin

回答:

5x2cvは、文献で見た限り、常に2倍の5回の繰り返しを指します。入れ子はまったくありません。2倍（トレインとテストの間で50/50に分割）を実行し、さらに4回繰り返します。5x2cv紙によって普及した教師付き分類学習アルゴリズムを比較するためのおおよその統計的検定ないだけ汎化誤差の良好な推定値だけでなく、良好な推定得る方法としてDietterichによって分散統計的テストを実行するために、そのエラーのを（）

— ジャック・ウェイナー
ソース

ありがとう！内部ループが異なるモデルを選択した場合、たとえば、「最適な」正則化パラメーターが1つのモデルの選択中にlambda = 100であり、もう1つのモデルの選択に対してlambda = 1000である場合、人々は一般的に何をしますか？この場合、モデルの平均パフォーマンスを計算するのは少し奇妙ですよね！？モデルを「不安定」として破棄しますか？

内側のループでは、ハイパーパラメーターの選択が異なる可能性が非常に高くなります。ネストされた交差検証を使用してハイパーパラメーターを選択するのではなく、汎化エラーを適切に推定するために（可能な限り最高のハイパーパラメーターを使用して）行います。ネストされたcvは、1つまたは別のアルゴリズムを決定するために使用されます。stats.stackexchange.com/questions/136296/…またはstats.stackexchange.com/questions/65128/…（特に）を参照してください

— Jacques Wainer

ああ、なるほど、それは完全に理にかなっています！人々はそれを別様に使用していると思いました。それでは、質問を終了できると思います。

外側のループを2回繰り返すと、列車セット全体で5倍のCVを2回繰り返すことになります。フォールドへの細分割は毎回異なります。

これは主に、1つのモデルが別のモデルよりも統計的に有意に優れているかどうかについて統計テストを実行するなど、モデルのパフォーマンスをより正確に推定するために使用されます。

データセットが大きく、外れ値がない場合、ネストされたCVはそれほど重要ではありません。データに外れ値がある場合、交差検証のパフォーマンスは、これらの外れ値がどのフォールド/フォールドにあるかに応じて大幅に異なる可能性があります。したがって、CVを数回繰り返します。

— ラネノク
ソース

いい視点ね。従来のアプローチ（テスト/トレーニングの分割、トレーニングセットのk倍のCV）では、モデルの評価に1倍しかありませんが、5x2 CVでは、2つの異なる倍から平均パフォーマンスを計算できます。