相互検証とパラメーターの最適化

10分割交差検証を使用すると、パラメーターの最適化について質問があります。

すべてのフォールドのモデルトレーニング中にパラメーターを修正するかどうかを確認したい。つまり、（1）各フォールドの平均精度に対して最適化されたパラメーターのセットを1つ選択する。

または

（2）すべての折りたたみに最適化されたパラメーターを見つけて、すべての折りたたみが異なる最適化パラメーターを使用してモデルをトレーニングし、それぞれの折りたたみのテストデータでテストし、最終的にすべての折りたたみの精度を平均しますか？

交差検証の正しい方法はどれですか？どうもありがとう。

まず、2つのパラメータセットを区別します。モデルパラメータ（たとえば、回帰の特徴の重み）と、学習アルゴリズムのパラメータ（およびハイパーパラメータ）です。交差検証の目的は、各分割で学習した母集団サンプル全体で一般化する学習パラメーターを特定することです。

より具体的には、学習パラメーターの上の空間をグローバルに検索しますが、各フォールド内で、学習パラメーターを修正し、モデルパラメーターを学習します。結果は、すべてのフォールドで平均して最高のパフォーマンスを生成する学習パラメーターでなければなりません。次に、これらを使用して、データセット全体でモデルをトレーニングできます。

現在受け入れられている答えは、残念ながら不完全です。私はその文に同意しません

交差検証の目的は、各分割で学習した母集団サンプル全体で一般化する学習パラメーターを特定することです。

これは確かに、相互検証の非常に重要なアプリケーションの1つですが、それだけではありません。通常、次の2つのことを行います。

1. できる最高のモデルを構築する
2. パフォーマンスの正確な印象をつかむ

ここで、アルゴリズムに応じて目的1を完了するために、いくつかのハイパーパラメーターを調整する必要がある場合がありますが、これは実際に交差検証によって行われることがよくあります。しかし、これはまだ目的2には役立ちません。これを行うには、次のように基本的に相互検証をネストする必要があります。

• データ全体をn分割する
• それぞれについて、トレーニングデータをサブフォールドに再度分割します。
• サブフォールドで相互検証を使用して適切なハイパーパラメーターを学習する
• これらのハイパーパラメーターを使用して、そのフォールドのトレーニングデータにモデルを作成します
• テストデータでモデルをテストする
• 次の折り目で繰り返す

適切なモデルを作成するには、内部相互検証が必要です。良いモデルを取得するには、そうする必要があります。ただし、モデルのパフォーマンスを適切に推定するには、相互検証スキーム内でモデル構築のプロセス全体を実行する必要があります。これには、帰属などのステップも含まれます。