leave-one-out相互検証はどのように機能しますか？異なるモデルから最終モデルを選択する方法は？

いくつかのデータがあり、このデータからモデル（線形回帰モデルなど）を作成します。次のステップでは、Leave-One-Out Cross-Validation（LOOCV）をモデルに適用して、モデルのパフォーマンスを確認します。

LOOCVを正しく理解したら、このサンプル（トレーニングセット）を除くすべてのサンプルを使用して、各サンプル（テストセット）の新しいモデルを構築します。次に、モデルを使用してテストセットを予測し、エラーを計算し。$(\text{predicted} - \text{actual})$

次のステップでは、選択した関数を使用して生成されたすべてのエラー（平均二乗誤差など）を集計します。これらの値を使用して、モデルの品質（または適合度）を判断できます。

質問：これらの品質値が適用されるモデルはどのモデルですか。LOOCVから生成されたメトリックが自分のケースに適している場合、どのモデルを選択する必要がありますか？LOOCVは異なるモデルを調べました（はサンプルサイズです）。どのモデルを選択する必要がありますか？$n$$n$

• すべてのサンプルを使用するモデルですか？このモデルは、LOOCVプロセスでは計算されませんでした！
• エラーが最も少ないモデルですか？

交差検証は、モデル自体ではなく、特定の手順で生成されたモデルの一般化パフォーマンスを推定する方法と考えるのが最適です。Leave-one-out相互検証は、基本的にサンプルのデータでトレーニングされたモデルの一般化パフォーマンスの推定であり、一般にサンプルでトレーニングされたモデルのパフォーマンスのやや悲観的な推定です。$n-1$$n$

1つのモデルを選択するのではなく、モデルをすべてのデータに適合させ、LOO-CVを使用して、そのモデルのパフォーマンスのわずかに控えめな推定値を提供します。

ただし、LOOCVの分散は大きく（異なるランダムなデータサンプルを使用すると、値が大きく変化するため）、ほぼ公平ではありませんが、パフォーマンス評価のための推定器の選択が不適切になる場合があります。私はモデル選択のために常にそれを使用しますが、それは本当に安いからです（私が取り組んでいるカーネルモデルのためにほとんど無料です）。