CV / Bootstrapを使用して機械学習アルゴリズムをトレーニングすることでオーバーフィットできますか？

この質問は、決定的な答えを得るにはあまりにもオープンエンドかもしれませんが、そうでないことを願っています。

SVM、GBM、ランダムフォレストなどの機械学習アルゴリズムには、一般に、いくつかの経験則を超えて、各データセットに合わせて調整する必要があるいくつかの無料のパラメーターがあります。これは、一般的に、ある種の再サンプリング手法（ブートストラップ、CVなど）で行われ、最良の一般化エラーを与えるパラメーターのセットに適合します。

私の質問は、あなたがここにすぎ行くことができるのですか？人々はグリッド検索を行うことなどについて話しますが、なぜこれを最適化問題として扱い、可能な限り最良のパラメータセットにドリルダウンしないのですか？私はこのいくつかの仕組みについて尋ね、この質問が、それは多くの注目を集めていません。質問はひどく聞かれたかもしれませんが、おそらく質問自体は人々が一般にしない悪いアプローチを表しているのでしょうか？

どのような私を気にすることは正則の欠如です。再サンプリングすると、このデータセットのGBMで成長するのに最適なツリーの数は647で、相互作用の深さは4ですが、これが新しいデータに当てはまることをどのように確認できますか（新しい母集団を仮定して） ）トレーニングセットと同一ですか？「縮小」する合理的な価値がない場合（または、情報を提供する事前情報がない場合）、リサンプリングは私たちができる最善の方法のようです。私はこのことについて何も話を聞いていないので、何か足りないものがあるのではないかと思います。

明らかに、多くの反復を行ってモデルの予測力の最後のビットを絞り出すことに関連する大きな計算コストがあるため、これは明らかに、最適化とすべてのビットを行うための時間/うなりを持っている場合にあなたがすることですパフォーマンスの改善は貴重です。

この質問に対する決定的な答えは、「はい、クロス検証ベースのモデル選択基準をオーバーフィットし、一般化が不十分なモデルになることは確かに可能です！」です。私の見解では、これは広く評価されていないように見えますが、機械学習法の適用における重大な落とし穴であり、現在の研究の主な焦点です。私はこれまでにこの件について2つの論文を書いています

GC CawleyおよびNLC Talbot、モデル選択の過剰適合とパフォーマンス評価におけるその後の選択バイアス、Journal of Machine Learning Research、2010年。Research、vol。11、ページ2079-2107、2010年7月。（ www）

これは、モデル選択の過剰適合が機械学習の実質的な問題であることを示しています（パフォーマンス評価中にモデル選択のコーナーをカットすると、大幅に偏ったパフォーマンス推定値を取得できます）

GC CawleyおよびNLC Talbot、ハイパーパラメータのベイズ正則化によるモデル選択の過剰適合の防止、Journal of Machine Learning Research、第8巻、841〜861ページ、2007年4月。（www）

ここで、交差検証ベースのモデル選択基準は、モデル選択の過剰適合を改善するために正規化されます（多くのハイパーパラメーターを持つカーネルを使用する場合、これは重要な問題です）。

現在、グリッド検索ベースのモデル選択に関する論文を書いています。これは、非常に細かいグリッドを使用することは確かに可能であることを示しています。より粗いグリッド（StackExchangeに関する質問で、グリッド検索を検討するきっかけになりました）。

お役に立てれば。

PS偏りのないパフォーマンス評価と信頼性の高いモデル選択は確かに計算コストが高くなりますが、私の経験では価値があります。入れ子になった交差検証。パフォーマンスの推定に外側の交差検証を使用し、モデル選択に内側の交差検証を使用するのが基本的なアプローチです。

クロス検証とブートストラップは、ほぼ公平で、場合によってはクロス検証よりもブートストラップにより正確なエラー率の推定値を提供することが示されています。再代入などの他の方法の問題は、分類器に適合する同じデータセットでエラーを推定することにより、エラー率を大幅に過小評価できるため、あまりにも多くのパラメーターを含むアルゴリズムにつながり、将来の値を正確に予測できない可能性があることですパラメータの小さなセットに適合するアルゴリズム。統計的手法を使用するための鍵は、分類器をトレーニングするために必要なデータが、クラスが欠落し、分類器によって予測される必要がある将来見られるデータの典型であるということです。将来のデータが大きく異なる可能性があると思われる場合、統計的方法は役に立たず、私はしません

ここでの答えの一つは、最適化の文脈では、あなたが見つけようとしているのは、 noisyコスト関数のことです。したがって、多次元グローバル最適化のすべての課題に加えて、コスト関数に追加された確率的コンポーネントがあります。

局所的最小値と高価な探索空間の課題に対処するアプローチの多くは、シミュレーテッドアニーリングやモンテカルロ法など、チューニングが必要なパラメータを持っています。

計算上の制約のない理想的な宇宙では、誤差関数の推定値のバイアスと分散に適切に厳しい制限を設定して、パラメーター空間のグローバルな最小値を見つけようとすることができると思います。このシナリオでは、広告を無限に再サンプリングできるため、正規化は問題になりませんか？

現実の世界では、ローカルミニマムで簡単に自分を見つけることができると思います。

言及したように、これは別の問題ですが、使用可能なデータに関連するサンプリングの問題と、サンプル空間の実際の基礎となる分布との関係により、オーバーフィットの可能性があります。

それはアルゴリズムに強く依存しますが、ほとんどの場合、それは単なる良心的な努力の無駄になりますが、確かに可能です。

この問題の核心は、これが厳密な最適化ではないことです-あなたは何も持っていません $f(\mathbf{x})$ 少なくとも1つの値の極値を持つドメインで定義されます $\mathbf{x}$、 いう $\mathbf{x}_{\text{opt}}$、あなたがしなければならないのはそれを見つけることです。代わりに、あなたが持っています$f(\mathbf{x})+\epsilon$ここで、 $\epsilon$ 、いくつかのクレイジーな分布を持っていることが多い確率的であると上だけでなく、依存 $\mathbf{x}$、また、あなたのトレーニングデータとCV /ブートストラップの詳細。この方法では、あなたが検索できる唯一の合理的なものは、いくつかの部分空間であります$f$ドメイン、言います $X_\text{opt}\ni \textbf{x}_\text{opt}$、その上のすべての値 $f+\epsilon$ わずかに異なっている（必要に応じて統計学的に言えば、）。

さて、あなたは見つけることができない一方、 $\textbf{x}_\text{opt}$、中から任意の値を練習 $X_\text{opt}$ 行います - と、通常はそれがわずか検索格子点であります $X_\text{opt}$ いくつかのサブを最大化するために、計算負荷を最小限にするために、ランダムに選択$f$ パフォーマンスの尺度は、あなたはそれに名前を付けます。

深刻な過剰適合は場合に発生することができます $f$ ランドスケープには鋭い極値がありますが、これは「起こるべきではない」、つまり、非常に不適切に選択されたアルゴリズム/データペアの特性であり、一般化力の予後が悪いことです。

したがって、（優れたジャーナルに存在する慣行に基づいて）パラメーター選択の完全な外部検証は厳密に行う必要はありません（機能選択の検証とは異なります）。ただし、最適化が大雑把で、分類子がパラメータ。

はい、クロスバリデーションまたはブートストラップ中に、パラメータをトレーニングおよびテストセットに「オーバーフィット」できます。ただし、これを防ぐ方法がいくつかあります。最初の簡単な方法は、データセットを3つのパーティションに分割します。1つはテスト用（〜20％）、1つは最適化パラメーターのテスト用（〜20％）、もう1つは分類器を設定パラメーターに適合させるためです。非常に大きなデータセットがある場合にのみ可能です。他の場合には、二重交差検証が推奨されます。

RomainFrançoisand Florent Langrognet、「モデルベース分類の二重交差検証」、2006