相互検証に関する優れた文献


回答:



5

クロス検証をモデル/機能の選択に使用する場合、クロス検証統計を過剰に適合させて、パフォーマンスの悪いモデルと最適化されたクロス検証統計になる可能性があることを覚えておく価値があります。非常に楽観的なパフォーマンス見積もりになる可能性があります。この影響は驚くほど大きくなる可能性があります。機能選択設定でのこの例については、AmbroiseとMcLachlanを、モデル選択設定での例については、CawleyとTalbotを参照してください。


言及するのは良いことですが、これらはCVの誤用または信頼過剰の例であり、メソッド自体のいくつかの欠点ではないことを二重に言わなければなりません。

1
確かに、しかし、それはそれが非常に一般的に誤用される方法です-それで、交差検定について学ぶとき、それを知っておくことが重要です!多くの場合、クロス検証は、ネストされたクロス検証、またはストーンがそれを「ダブルクロス」検証とすると、良い解決策です。この問題は、モデルを取得するために最適化されているほとんどすべての機能またはモデル選択基準に影響します。この意味で、相互検証について特別なことは何もありません。
Dikran Marsupial 2011

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.