Leave-one-outクロス検証：一般化パフォーマンスの比較的公平な推定？

私は、リーブワンアウト相互検証が比較的「真の一般化パフォーマンスの偏りのない推定」を提供することを（たとえば、ここで）読んだことがあり、これはリーブワンアウトCVの有利な特性であることを示しています。

ただし、これが去りきりのCVの特性からどのようになるかはわかりません。他と比較すると、この推定量のバイアスが低いのはなぜですか？

更新：

私はトピックを調査し続けていますが、この推定器は1つのインスタンス以外のすべてのデータを使用するため、たとえばK分割検証よりも悲観的ではないという事実に関係していると思いますが、数学を読むのは素晴らしいでしょうこれの派生。

MLではトレーニングテストサイズが大きくなると予測エラー率が低下するという事実を数学的に導出する必要はないと思います。LOO-k分割検証と比較して-観察したように、トレーニングセットのサイズを最大化します。

ただし、LOOは「ツイン」の影響を受けやすい場合があります。LOOを使用すると、LOOを使用すると、テストセットとして使用される各サンプルについて、残りの「ツイン」がトレーニングセットに含まれることが保証されます。これは、LOOが、たとえば10倍の交差検証（またはサンプルがペアになっている場合は層別検証など）に置き換えられたときに、精度が急速に低下することで診断できます。私の経験では、一般的にデータセットが小さい場合、これは災害につながる可能性があります。

完璧な世界では、CV設定であっても、モデルのトレーニングに決して使用しない検証セットもあります。論文を送付する前に、モデルの最終的なパフォーマンスをテストするためだけに保管します:-)