leave-one-out交差検証の高い分散

「Leave-one-out」クロス検証は、トレーニングフォールドの大きな重なりのために、分散が大きいことを繰り返し読みました。ただし、その理由はわかりません。トレーニングセットがほぼ同一であるため、相互検証のパフォーマンスが非常に安定（分散が小さい）である必要はありませんか。または、「分散」の概念を完全に間違って理解していますか？

また、LOOがどのように偏りがないかを完全には理解していませんが、大きなばらつきがありますか？LOO推定値が期待値の真の推定値に等しい場合、どのようにして高い分散を得ることができますか？

注：ここに同様の質問があることを知っています： なぜエラーの平均推定値に関するleave-one-out cross-validation（LOOCV）分散が高いのですか？しかし、答えた人はコメントの後半で、賛成にもかかわらず彼の答えが間違っていることに気付いたと言っています。

この質問は、おそらく分散と交差検証のバイアスの複製として閉じられることになります：なぜ、leave-one-out CVの分散が大きいのですか？、それが起こる前に、私は私のコメントを答えに変えると思います。

また、LOOがどのように偏りがないかを完全には理解していませんが、大きなばらつきがありますか？

簡単な例を考えてみましょう。パラメータの真の値をます。利回りという推定 0.49 、0.51 、0.49 、0.51は...利回り公平であり、比較的低い分散を持っていますが、推定することを 0.1 、0.9 、0.1 、0.9は...も公平であるが、はるかに高い分散を持っています。$0.5$$0.49,0.51,0.49,0.51...$$0.1,0.9,0.1,0.9...$

トレーニングセットがほぼ同一であるため、クロス検証のパフォーマンスは非常に安定（分散が小さい）すべきではありませんか？

データセット全体のさまざまな実現における分散について考える必要があります。特定のデータセットでは、トレーニングセットが非常に交差しているため（正確に気づいたように）、各分割でleave-one-out交差検証により実際に非常に類似したモデルが生成されますが、これらのモデルはすべて真のモデルから遠く離れている可能性があります; データセット間では、異なる方向に遠く離れているため、分散が大きくなります。

少なくともそれは私がそれを理解する方法です。詳細についてはリンクされたスレッドを、さらに詳細については参照された論文を参照してください。

この大きな分散は、トレーニングセットのスペースに関するものです。LOOCVの分散が大きい理由は次のとおりです。LOOCVでは、この観測を除くすべての観測データセットを使用して、観測iなどの各観測の予測誤差を取得します。したがって、iの予測値は現在のデータセットに大きく依存しています。ここで、別の独立したデータセットを観察し、この新しいデータセットにモデルを適合させると仮定します。この新しいモデルを使用して観測値iの予測値を取得すると、予測値はLOOCVによって評価された値とは大きく異なる可能性があります（ただし、平均は正しい（偏りがありません））。

これは、LOOCVのエラー予測の大きな分散の背後にある直観です。

ただし、LOOCVを使用して異なるハイパーパラメーターを持つモデルの結果を比較している場合、予測エラーの真の値が重要でない場合は、LOOCVを使用して予測エラーを安全に推定できると考えています。観察されたトレーニングセットを持つ異なるモデルを比較し、推定される実際の真の誤差を気にしません。

ただし、経験則として、サンプル数が少ない場合はLOOCVを使用し、そうでない場合は、kの値を小さくしてk-fold CVを使用します。