いつ交差検証を使用しないのですか？

サイトを読んだとき、ほとんどの回答は、相互検証が機械学習アルゴリズムで実行されるべきであることを示唆しています。しかし、「機械学習について」という本を読んでいるときに、相互検証を使用しない方がよい演習があることがわかりました。私は本当に混乱しています。データ全体のトレーニングアルゴリズムが交差検証よりも優れているのはいつですか？実際のデータセットで発生しますか？

ましょうはk個の仮説クラスです。あなたが与えられていると仮定メートル例を訓練し、あなたがクラス学びたいIID Hを= ∪ kは、私は= 1 H Iを。2つの代替アプローチを検討してください。$H_1,...,H_k$$m$$H=\cup^k_{i=1}H_i$

1. ERMルールを使用してmの例でを学ぶ$H$$m$

2. サイズのトレーニングセットにm個の例を分割及び大きさの検証セットα Mいくつかについて、α ∈ （0 、1 ）。次に、検証を使用してモデル選択のアプローチを適用します。すなわち、Fiは各クラスの訓練RST H Iに（1 - α ）のmに対するERMルール使用トレーニング例をH Iを、およびlet H 1、... 、Hの$(1−\alpha)m$$\alpha m$$\alpha\in(0,1)$$H_i$$(1−\alpha)m$$H_i$$\hat{h}_1,\ldots,\hat{h}_k$結果の仮説である。第二は、FIの有限クラスに対してERMルールを適用{ H 1、... 、Hの K }にαのm個の検証例。$\hat{h}_1,\ldots,\hat{h}_k$$\alpha m$

最初の方法が2番目の方法よりも優れているシナリオ、およびその逆のシナリオについて説明します。

quastionのイメージ。

お持ち帰りメッセージ：

• 演習では、データドリブンモデルの最適化/チューニング/選択を行わない方がよい場合もあります（分野によって異なります：多くの場合またはほとんど常に）。

• さまざまな検証オプションの中で相互検証が最良の選択ではない状況もありますが、これらの考慮事項は、ここでの演習のコンテキストには関係ありません。

• また、モデルを検証（検証、テスト）しないことは、決して良い選択ではありません。

残念ながら、引用するテキストは、アプローチ1と2の間で2つの点を変更しています。

• アプローチ2は、相互検証とデータ駆動型モデルの選択/調整/最適化を実行します
• アプローチ1は、相互検証もデータ駆動型モデルの選択/調整/最適化も使用しません。
• アプローチ3データ駆動型モデルの選択/調整/最適化なしの相互検証は、ここで説明するコンテキストでは完全に実現可能です（IMHOが洞察につながる可能性があります）
• アプローチ4、交差検証はありませんが、データ駆動型モデルの選択/調整/最適化も可能ですが、構築はより複雑です。

私見、相互検証、およびデータ駆動型最適化は、モデリング戦略の設定における2つのまったく異なる（そしてほとんど独立した）決定です。唯一の接続は、あなたの最適化のための機能のターゲットとしてクロスバリデーション推定値を使用することができるということです。しかし、すぐに使用できる他のターゲット関数が存在し、相互検証推定の他の用途があります（重要なことに、モデルの検証、別名検証またはテストにそれらを使用できます）

残念ながら、機械学習の用語は現在IMHOであり、ここでは誤った接続/原因/依存関係を示唆しています。

• アプローチ3（最適化ではなくモデルのパフォーマンスを測定するための相互検証）を調べると、「決定」相互検証対データセット全体のトレーニングが、このコンテキストでは誤った二分法であることがわかります。相互検証を使用する場合分類子のパフォーマンスを測定するために、クロス検証の性能指数は、データセット全体でトレーニングされたモデルの推定値として使用されます。つまり、アプローチ3にはアプローチ1が含まれます。

• 次に、2番目の決定、つまりデータ駆動型モデルの最適化かどうかを見てみましょう。これが私見の重要なポイントです。そして、はい、実際の状況では、データ駆動型モデルの最適化を行わない方が良い場合があります。データ駆動型モデルの最適化にはコストがかかります。このように考えることができます。データセットの情報は、だけでなく、$p$モデルのパラメータ/係数ですが、最適化によって行われるのは、ハイパーパラメータと呼ばれる追加のパラメータを推定することです。モデルフィッティングおよび最適化/チューニングプロセスをモデルパラメーターの検索として説明する場合、このハイパーパラメーター最適化は、非常に大きな検索スペースが考慮されることを意味します。つまり、アプローチ1（および3）では、これらのハイパーパラメーターを指定することにより、検索スペースを制限します。実際のデータセットは、その制限された検索スペース内に収まるのに十分な大きさ（十分な情報を含む）である可能性がありますが、アプローチ2（および4）のより大きな検索スペースですべてのパラメーターを十分に固定するのに十分な大きさではありません。

実際、私の分野では、データ駆動型の最適化を考えるには小さすぎるデータセットを扱わなければならないことがよくあります。だから私は代わりに何をしますか：私はデータとデータ生成プロセスについての私のドメイン知識を使用して、どのモデルがデータとアプリケーションの物理的性質とよく一致するかを決定します。これらの中で、モデルの複雑さを制限する必要があります。