最終（生産準備完了）モデルは、完全なデータでトレーニングするのか、それともトレーニングセットでトレーニングするのか？

トレーニングセットで複数のモデルをトレーニングし、クロス検証セットを使用して最適なモデルを選択し、テストセットでパフォーマンスを測定したと仮定します。だから今、私は1つの最終的な最高のモデルを持っています。使用可能なすべてのデータで再トレーニングするか、トレーニングセットのみでトレーニングしたソリューションを出荷する必要がありますか？後者の場合、なぜですか？

更新：@ P.Windridgeが指摘したように、再訓練されたモデルを出荷することは、基本的に検証なしでモデルを出荷することを意味します。しかし、テストセットのパフォーマンスを報告することができます。その後、最適なモデルとより多くのデータを使用するため、パフォーマンスが向上することを期待して、完全なデータでモデルを再トレーニングできます。そのような方法論からどのような問題が発生する可能性がありますか？

サンプル全体を再フィッティングした後、ほとんどの場合、より良いモデルが得られます。しかし、他の人が言ったように、あなたは検証を持っていません。これは、データ分割アプローチの根本的な欠陥です。データを分割すると、モデル全体のサンプルの違いを直接モデル化する機会が失われるだけでなく、サンプル全体がおそらく15,000を超える被験者でない限り不安定です。これが、精度と安定性を実現するために10回の交差検証を100回繰り返す必要がある理由です（サンプルサイズによって異なります）。ブートストラップは、機能選択のタスクがどれほど困難でarbitrary意的であるかも明らかにします。

「外部」検証の問題については、Biomedical Research Section 10.11のBiostatisticsで詳しく説明しています。

再度トレーニングする必要はありません。結果を報告するときは、テストデータの結果をよりよく理解できるため、常にテストデータの結果を報告します。テストデータセットにより、モデルがサンプル外のデータに対してどの程度適切に実行される可能性があるかをより正確に確認できます。