k分割交差検定の分散推定

K分割交差検定を使用して、特定の分類器の一般化機能を推定できます。分散のより良い推定値を取得するために、すべての検証実行からプールされた分散を計算することもできますか？

そうでない場合、なぜですか？

クロス検証の実行全体でプールされた標準偏差を使用する論文を見つけました。また、検証分散の普遍的な推定量がないことを明示的に述べた論文を見つけました。しかし、一般化エラーの分散推定量を示す論文も見つけました（これを読んで理解しようとしています）。人々は実際に実際に何をする（または報告する）のか？

編集： CVを使用して大まかな分類エラーを測定する場合（つまり、サンプルに正しくラベルが付けられているか、ラベルが付けられていない、たとえばtrueまたはfalse）、プールされた分散について話すのは意味がない場合があります。ただし、推定している統計に分散が定義されている場合について説明しています。そのため、特定の分割について、統計値と分散推定値の両方が得られます。この情報を破棄して平均統計のみを考慮するのは適切ではないようです。そして、私はブートストラップ法を使用して分散推定値を作成できることを知っていますが（そうでない場合）、フォールド分散を無視し、統計推定値のみを考慮します（さらに多くの計算能力が必要です）。

非常に興味深い質問です。あなたが出した論文を読む必要があります...しかし、これは答えの方向に私たちを始めるでしょう。

私は通常、この問題に非常に実用的な方法で取り組んでいます。新しいランダム分割を使用してk分割交差検証を繰り返し、各反復で通常どおりパフォーマンスを計算します。そのため、テストサンプル全体は各反復で同じであり、違いはデータの異なる分割から生じます。

これは、たとえば、観測されたパフォーマンスの5〜95パーセンタイルとして報告します。最大交換$\frac{n}{k} - 1$

サイドノート：私はとにかくサンプルサイズを必要とする数式を使用できません。私のデータは構造がクラスター化または階層化されているため（同じケースの多くの類似した、しかし繰り返されない測定、通常は同じ標本の数百の異なる場所）、有効なサンプルサイズがわかりません。

ブートストラップとの比較：

• 反復は新しいランダム分割を使用します。

• 主な違いは、リサンプリングの有無（ブートストラップ）と置換なし（cv）です。

• $\approx$

• ブートストラップは、いくつかの統計的性質の点でcvよりも利点があります（漸近的に正しい。おそらく、適切な推定値を得るために必要な反復回数が少ない）

• ただし、cvを使用すると、次のことが保証されるという利点があります。

  • 個別のトレーニングサンプルの数はすべてのモデルで同じです（学習曲線を計算する場合に重要）
  • 各サンプルは各反復で1回だけテストされます

• 一部の分類方法では繰り返しサンプルが破棄されるため、ブートストラップは意味をなしません

パフォーマンスの分散

簡単な答え：はい、{0,1}の結果のみが存在する状況での分散について話すのは理にかなっています。

二項分布を見てください（k =成功、n =テスト、p =成功の真の確率=平均k / n）：

$\sigma^2 (k) = np(1-p)$

$p$$\hat p$

• フライス：レートとプロポーションの統計的手法
• Forthofer and Lee：Biostatisticsには素晴らしい紹介があります。

$\hat p = \frac{k}{n}$

$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

これは、分類器のパフォーマンスを測定するための不確実性が、テストされたモデルの真のパフォーマンスpとテストサンプルの数にのみ依存することを意味します。

クロス検証では、仮定します

1. kの「代理」モデルは、通常すべてのサンプルから構築する「実際の」モデルと同じ真のパフォーマンスを備えています。（この仮定の内訳は、よく知られている悲観的なバイアスです）。

2. kの「代理」モデルは同じ真のパフォーマンス（同等であり、安定した予測を持つ）であるため、kテストの結果をプールすることができます。
   もちろん、cvの1回の反復のk個の「代理」モデルだけでなく、k回のcvのi回の反復のkiモデルもプールできます。

なぜ反復するのですか？

反復が伝える主なことは、モデル（予測）の不安定性、つまり、同じサンプルに対する異なるモデルの予測の分散です。

$\hat p$

はい、これは重要な情報です。

$n_{bootstrap}$$k \cdot n_{iter.~cv}$$n - 1 \approx n$$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

$p$$k$$n$$\hat p$$n$

モデルの不安定性を観察する場合、プールされた平均は実際のパフォーマンスのより良い推定値です。反復間の分散は重要な情報であり、サイズnのテストセットで予想される最小分散と、すべての反復にわたる真のパフォーマンス平均パフォーマンスと比較できます。

CVは推定値であり、「実際の」一般化エラーを表すことはできません。サンプルサイズ（折り数または折りサイズに影響します）に応じて、汎化誤差の分布のパラメーター推定値を計算する能力が大幅に制限される場合があります。私の意見では（そして、私はそれがさまざまなテキストブック、「サポートベクターマシンでの知識発見」-Lutz Hamelで主張されているのを見ました）、CVのいくつかのブートストラップバリアントを実行して、一般化エラーの分布を推定できますが、標準的な10- 1（たとえば）CVを一度オフにすると、真のgen-errorについて推論するのに十分なデータポイントが得られません。ブートストラップを行うには、トレーニング（テスト）またはval（複数）（たとえば1000程度）10-1（または何でも）CVテストを効果的に実行して、複数のサンプルを取得する必要があります。次に、各CVテストの平均のサンプル分布をCVエラーの母集団の平均のサンプリング分布の推定値として使用します。これから、平均、中央値、標準最小最大Q1 Q3などの分布パラメーターを推定できます。少し手間がかかりますが、私の意見では、あなたのアプリケーションが追加の仕事を保証するのに十分なほど重要/危険な場合にのみ本当に必要です。すなわち、おそらく、ビジネスが単にランダムであるよりも優れていることを喜んでいるマーケティング環境では、おそらく必要ではありません。しかし、高リスクの薬物に対する患者の反応を評価しようとしている場合、または大規模な投資に対する収入期待を予測しようとしている場合は、実行するのが賢明かもしれません。