K分割交差検定でのKの選択

いくつかの学習アルゴリズムのパフォーマンスを評価するために、倍交差検証を数回使用していますが、の値をどのように選択すべきかについては常に困惑していました。$K$$K$

私はよく見ての値が使用されてきた、これは私には全く任意のようだ、と私は今ちょうど使用代わりにそれを超える思考の習慣で。私には、の値を改善するにつれて、より良い粒度が得られるように思えます。理想的には、非常に大きくする必要がありますが、偏るリスクもあります。10 K $K = 10$$10$$K$$K$

私は、の値が何に依存すべきか、そしてアルゴリズムを評価するときにこれについてどう考えるべきかを知りたいと思います。クロスバリデーションの階層化バージョンを使用するかどうかによって、何かが変わりますか？$K$

の選択はいくぶん任意です。kの決定方法は次のとおりです。$k = 10$$k$

• まず最初に、CV結果の分散を下げるために、新しいランダム分割でCVを繰り返す/繰り返す必要があります。
  これは、とにかく多くのモデルを計算したいので、高い =>より多くの計算時間の議論はほとんど無関係です。私は主に、計算されたモデルの総数を考える傾向があります（ブートストラップと同様）。したがって、100 x 10倍CVまたは200 x 5倍CVを決定できます。$k$

• @ogriselは、通常、大きいと（悲観的な）バイアスが小さくなることをすでに説明しています。（一部の例外は、特にk = n、つまりleave-one-outで知られています）。$k$$k = n$

• 可能であれば、サンプルサイズの除数であるを使用するか、サンプル内の層化するグループのサイズを使用します。$k$

• 大きすぎると、サンプルの組み合わせの数が少なくなり、異なる反復回数が制限されることを意味します。$k$

  • leave-one-outの場合：異なるモデル/テストサンプルの組み合わせが可能です。反復はまったく意味がありません。$\binom{n}{1} = n = k$
  • 例：およびk = 10：（ n = $n = 20$$k = 10$異なるモデル/試験サンプルの組み合わせが存在します。ここでk倍CVの19回の反復または合計190個のモデルはそれほど多くないため、ここで可能なすべての組み合わせを検討することもできます。$\binom{n=20}{2} = 190 = 19 ⋅ k$$k$

• これらの考えは、小さなサンプルサイズでより大きな重みを持ちます。より多くのサンプルが利用可能であれば、はそれほど重要ではありません。可能な組み合わせの数はすぐに十分に大きくなるため、10回のCVの（たとえば）100回の反復では、重複する大きなリスクはありません。また、通常、トレーニングサンプルが多いということは、学習曲線の平坦な部分にいることを意味するため、サロゲートモデルとn個すべてのサンプルでトレーニングされた「実際の」モデルの違いは無視できます。$k$$n$

Kが大きいほど、真の期待誤差を過大評価する偏りは少なくなります（トレーニングの折り畳みがデータセット全体に近くなるため）が、分散が大きくなり、実行時間が長くなります（制限ケースに近づくにつれて：Leave-One-Out CV）。

training_size =データセット全体の90％で学習曲線の勾配が十分に平坦である場合、バイアスは無視でき、K = 10が妥当です。

また、Kが高いほど、より正確な信頼区間を推定するためのサンプルが多くなります（CVテストエラーの分布の正規性を想定したパラメトリック標準誤差、または実際にはあまり当てはまらないiid仮定を行うノンパラメトリックブートストラップCIを使用） CVフォールドは互いに独立していないため）。

編集：過小評価=>予想される真のエラーを過大評価

編集：大きなKまたはLOOCVのより大きな分散に関するこの応答の一部は、おそらく間違っています（常に真ではありません）。この回答のシミュレーションの詳細：leave-one-out対K-foldクロス検証のバイアスと分散（この作業についてはXavier Bourret Sicotteに感謝します）。

K精度と一般化にどのように影響するかはわかりませんが、これは学習アルゴリズムに依存する可能性がありますが、トレーニングインスタンスの数が線形のアルゴリズムの複雑さを備えたトレーニングアルゴリズムの計算の複雑さにほぼ線形（漸近的、線形）に確実に影響します。K-1トレーニングインスタンスの数でトレーニング時間が線形である場合、トレーニングの計算時間は増加します。そのため、小規模なトレーニングセットでは、特に限られた数のトレーニングインスタンスを最大限に活用する必要があるため、精度と一般化の側面を検討します。

ただし、トレーニングインスタンスの数が漸近的な複雑度の増加（少なくとも線形）を伴う大規模なトレーニングセットおよび学習アルゴリズムの場合、数がK=2線形で漸近的な複雑さを持つトレーニングアルゴリズムの計算時間の増加がないように選択するだけですトレーニングインスタンスの。

解決：

K = N/N*0.30

• N =データセットのサイズ
• K =折り

コメント：テストセットとして選択するサイズに応じて、30％ではなく20％を選択することもできます。

例：

データセットサイズの場合：N = 1500; K = 1500/1500 * 0.30 = 3.33; K値を3または4から選択できます

注意：

Kの値を大きくすると、1つの交差検証が除外され、過適合になります。クロスバリデーションを除外するK値が小さいと、フィッティングが不足します。

アプローチは単純かもしれませんが、異なるサイズのデータ​​セットにk = 10を選択するよりも優れています。