相互検証の誤用（最適なハイパーパラメーター値のパフォーマンスの報告）

最近、特定のデータセットでk-NN分類器を使用することを提案する論文に出会いました。著者は、利用可能なすべてのデータサンプルを使用して、さまざまなk値のk分割交差検証を実行し、最適なハイパーパラメーター構成の交差検証結果を報告しました。

私の知る限り、この結果には偏りがあり、ハイパーパラメーター最適化の実行に使用されないサンプルの精度推定値を取得するために、別のテストセットを保持する必要がありました。

私は正しいですか？この相互検証の誤用について説明した参考文献（できれば研究論文）を提供してください。

はい、k-fold CV結果のみのレポートには問題があります。たとえば、次の3つの出版物を目的に使用して（もちろん他にもありますが）、人々を正しい方向に向けることができます。

• Varma＆Simon（2006）。「モデル選択に交差検証を使用する場合の誤差推定のバイアス。」BMCバイオインフォマティクス、7：91

• Cawley＆Talbot（2010）。「パフォーマンス評価におけるモデル選択の過剰適合とその後の選択バイアスについて。」Journal of Machine Learning Research、11：2079-2107

• $K$

私は個人的には、数学よりも平易な英語で問題を述べようとするので好きです。