相互検証のパフォーマンスは、独立したデータセットの実際のパフォーマンスを予測するための正確な指標になりますか？

この質問は、相互検証の背後にある理論に関連していると思います。ここに私の経験的発見を示し、そこで交差検証の理論に関連する質問を書きました。

2つのモデルM1とM2があります。同じデータセットを使用してそれらをトレーニングし、同じデータセットを使用して交差検証を実行して、各モデルの最適なパラメーターを見つけます。最終的に、最適パラメーターの下でのM1は、10倍の交差検証スコアの点で、最適パラメーターの下でのM2よりもパフォーマンスが良いことがわかりました。次に、予測子とラベルの両方を含む別の独立したテストデータセットがあり、このテストデータセットがトレーニングデータセットの同じ分布から生成された場合、これらの2つの十分に調整されたモデルをその新しいテストデータセットに適用する前に、主張したり、新しいテストデータセットよりもM1の方がM2よりもパフォーマンスが優れていることを期待できますか？

私はカグルタイタニックの例を演奏していました。2つのxgboostモデルがあり、M1は十分にチューニングされており、M1はトレーニングデータセットに対して10倍の交差検証を実行するという点であまりチューニングされていません。しかし、両方を送信すると、調整が不十分なモデルの方が実際にテストデータセットのスコアが優れていることがわかりました。それはどうでしょうか？そして、それが真実である場合、データを異なるモデルに適合させ、モデルパラメータを調整するときに何を探す必要がありますか？

これが私の具体的な提出結果です：ランダムグリッド検索を行いました

params_fixed = {'silent': 1,'base_score': 0.5,'reg_lambda': 1,
'max_delta_step': 0,'scale_pos_weight':1,'nthread': 4,
'objective': 'binary:logistic'}
params_grid = {'max_depth': list(np.arange(1,10)),
'gamma': [0,0.05,0.1,0.3, 0.5,0.7,0.9],
'n_estimators':[1,2,5,7,10,15,19,25,30,50], 
'learning_rate': [0.01,0.03,0.05,0.1,0.3,0.5,0.7,0.9,1],
'subsample': [0.5,0.7,0.9], 'colsample_bytree': [0.5,0.7,0.9], 
'min_child_weight': [1,2,3,5], 'reg_alpha': [1e-5, 1e-2, 0.1, 0.5,1,10]
}
rs_grid = RandomizedSearchCV(
          estimator=XGBClassifier(**params_fixed, seed=seed),
          param_distributions=params_grid,
          n_iter=5000,   
          cv=10,
          scoring='accuracy',
          random_state=seed
)

変数を変更するたびにn_iter。まず、を設定しますn_iter=10。これにより、これらのハイパーパラメーターの値のセットが得られます。このベクトルをと呼び、cvスコア（精度率）が0.83389の場合、を使用してモデルをトレーニングし、独立したテストで予測を生成しますデータセット、およびKaggleに送信すると、テストデータセット0.79426で真の精度が生成されますα $\alpha_1$$\alpha_1$

次に、を設定するとn_iter=100、が得られ、cvスコアは0.83614、つまり最初のスコアよりも高くなりますが、Kaggleに送信すると0.78469となり、最初のスコアよりも低くなります。$\alpha_2$

3番目に、を設定するとn_iter = 1000、が得られ、cvスコアは0.83951、つまり2番目のスコアよりも高くなりますが、Kaggleに送信すると0.77990 が2番目のスコアよりも低くなります。$\alpha_3$

4番目に、を設定するとn_iter = 5000、が得られ、cvスコアは0.84512、つまり3番目のスコアよりも高くなりますが、Kaggleに送信すると0.72249 が3番目のスコアよりも低くなります。$\alpha_4$

これは本当にイライラしています。モデルは交差検証スコアでどんどん良くなっていますが、実際の独立したデータセットで実行すると、そのパフォーマンスはどんどん悪化しています。CVスコアを正確に逆に解釈しましたか？CVスコアが真のテストスコアを推測するには楽観的すぎる可能性があると述べた論文がいくつかあります。しかし、それが真実であっても、私の4つのモデルすべてのCVスコアは、それら自身の真のテストスコアについてすべて楽観的である必要があります。しかし、実際のテストデータセットに適用すると、順序が逆になります。

私が想像できる唯一の理由は、テストデータセットがトレーニングデータセットとは異なる分布を持っていることです。しかし、もしそうだとすれば、太陽の下でこの問題を解決できる方法はないと思います。

まず、実用的な答え：テストセットが、トレーニングと交差検証に使用しているデータセットとは多少異なる分布からのものである可能性を軽視しないでください。あなたはそれが起こるべきではないと思うかもしれませんが、実際にはそれは起こっているようです。

とはいえ、仮説を立てて、テストセットが残りのデータとまったく同じ分布からのものであると仮定しましょう。その場合、クロス検証を使用してハイパーパラメーターを選択している場合、クロス検証により、どちらのモデルの方が良いか迷う可能性があります。

あなたは（）を選択ハイパーパラメータ、のいずれかにクロスバリデーションを使用することができたり、同時に両方ではない-あなたのモデルの精度を推定（B）。

クロス検証を使用して最適なハイパーパラメーターを選択しているようです：クロスパラメーターを使用してその選択肢の精度を推定する選択肢ごとに、ハイパーパラメーターのさまざまな選択肢を試し、最適な選択肢を選択します。その場合、結果として得られる精度（最良のパラメーターを使用）がテストセットのパフォーマンスを予測できる保証はありません-（過適合により）過大評価になる可能性があります。M2よりM1の方が過大評価である場合は、見たものが表示される場合があります。

ハイパーパラメーターの選択と精度の推定の両方が必要な場合は、精度を推定するために別の保留された検証セットを用意するか、ネストされた相互検証を使用することをお勧めします。https://stats.stackexchange.com/q/65128/2921およびhttp://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.htmlを参照してください。

その新しいテストデータセットよりもM1の方がM2よりもパフォーマンスが優れていると主張できますか、それとも期待すべきですか？

はい、そうすべきです。もちろん、

1. テストデータは、トレーニングおよび検証データと同じ生成プロセスから取得されます。
2. 各セットに十分なデータがあり、統計的な変動が起こりにくい。

モデルは交差検証スコアでどんどん良くなっていますが、実際の独立したデータセットで実行すると、そのパフォーマンスはどんどん悪化しています。

2つの理由が考えられます。

1. 実際、テストデータセットは同じ方法で生成されません。したがって、アクセス権のないKaggleテストセットに依存しないことをお勧めします。持っているデータを使用してください。

2. 適合度が高すぎます。つまり、交差検定を正しく実行していません。パラメータのトレーニングがトレーニングデータで行われることと、トレーニングに使用しなかったデータで検証が行われることを確認してください。トレーニング損失と検証損失のヒストグラムを比較します。トレーニングの損失は、検証の損失よりも常に小さくなければなりません。テストデータの損失についても同じようにして、一貫した画像を取得します。

最後に、テストセットのパフォーマンスは検証セットのパフォーマンスよりも低くなることが予想されます。これは、モデルが検証セットに基づいて選択されるためです。そのため、そのデータセットに偏っています。

可能です。パラメータがより適切に調整されているため、モデルがM1トレーニングデータセットの分散をDモデルよりもよく学習している単純なシナリオを考えてみてくださいM2。これはM1、よりDもパフォーマンスが良いことを意味しますM2。

我々はテストセットでそれらをテストするときしかしT、可能性がありM2、より良いとして行いM1、オーバーフィットするかもしれないD間はM2ありませんでした。したがってM1、Tよりもパフォーマンスが低下しM2ます。

これは、検証セットではなく同じデータセットに対して交差検証を実行したことが原因である可能性があります。同じセットでトレーニングと検証を行うと、それが過剰に適合している可能性があるという事実を見落とす可能性があります。したがって、さまざまなデータセットでトレーニング、検証、テストを行うことをお勧めします。したがって、流れは

1. 同じトレーニングセットで異なるモデルをトレーニングする
2. 検証セットで検証済み
3. 検証セットで最もパフォーマンスの高いモデルの基本パフォーマンスを選択する
4. それを使用して、テストセットをスコアリングします。

相互検証（v-fold相互検証）の背後にある理論は、多くの論文で取り上げられています。2003年から2007年にかけて発行された一連の論文にその証拠があります。参照してください：-oracleセレクター。2006-スーパーラーナー2007-予測におけるスーパーラーナー2010-統合クロス検証2003