交差検定は、過剰適合を防ぐのに十分ですか?


17

データがあり、クロス検証(このデータでランダムフォレストとする)とクロス検証(5倍とする)を実行した場合、メソッドに過剰適合はないと結論付けることはできますか?

回答:


20

どういたしまして。ただし、相互検証は、メソッドがどの程度オーバーフィットしているかを評価するのに役立ちます。

たとえば、回帰のトレーニングデータのR 2乗が0.50で、交差検証されたR 2乗が0.48である場合、過剰適合はほとんどなく、気分が良いです。一方、クロスバリデーションされたR-2乗がここで0.3のみの場合、モデルのパフォーマンスのかなりの部分は、実際の関係からではなく、過剰適合によるものです。そのような場合、低いパフォーマンスを受け入れるか、オーバーフィットの少ない異なるモデリング戦略を試すことができます。


8
この答えは精神的に正しいと思いますが、第2段落の過剰適合の特性化には同意しません。トレインエラー-テストエラー>何らかの境界でオーバーフィッティングが発生することはないと思いますが、代わりに、オーバーフィッティングは、モデルの複雑さを増すとホールドアウトエラーわずかに増加する傾向あると見なします。トレインとテストのエラーが同等であることを要求すると、多くの場合、モデルの適合度が非常に低くなります。
マシュードゥルーリー

7

交差検証は、過剰適合を最小限に抑えるための優れた手法ですが、完璧ではありません。

持っているデータが予測しようとしているデータを表していない場合、クロスバリデーションは外部データに対してうまく機能しません!

クロス検証に欠陥がある場合の2つの具体的な状況を次に示します。

  • 過去を使用して未来を予測しています。過去の観測値は、将来の観測値と同じ分布を持つ同じ母集団からのものであると仮定することは、しばしば大きな仮定です。過去から引き出されたデータセットを相互検証しても、これを防ぐことはできません。
  • 収集するデータにはバイアスがあります。観察するデータは、観察しないデータと体系的に異なります。たとえば、調査の実施を選択した人の回答者のバイアスについて知っています。

3
データセットが真の母集団の貧弱な表現になっていないことは、一般に過剰適合の別の問題と見なされます。もちろん、相互検証がそれらに対処しないことは正しいです。
クリフAB

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.