なぜ3つのパーティションしかないのですか？（トレーニング、検証、テスト）

モデルを大規模なデータセットに適合させようとする場合、一般的なアドバイスは、データを3つの部分（トレーニング、検証、テストデータセット）に分割することです。

これは、通常、モデルには3つの「レベル」のパラメーターがあるためです。最初の「パラメーター」はモデルクラス（SVM、ニューラルネットワーク、ランダムフォレストなど）、2番目のパラメーターセットは「正規化」パラメーターまたは「ハイパーパラメーター」（たとえば、投げ縄ペナルティ係数、カーネルの選択、ニューラルネットワーク構造）および3番目のセットは、通常「パラメーター」と見なされるものです（共変量の係数など）。

モデルクラスとハイパーパラメーターの選択が与えられると、トレーニングセットのエラーを最小化するパラメーターを選択してパラメーターを選択します。モデルクラスが与えられると、検証セットのエラーを最小化することでハイパーパラメーターを調整します。テストセットのパフォーマンスによってモデルクラスを選択します。

しかし、なぜこれ以上パーティションがないのですか？多くの場合、ハイパーパラメータを2つのグループに分割し、「検証1」を使用して最初に適合させ、「検証2」を使用して2番目に適合させることができます。または、トレーニングデータ/検証データのサイズを調整するハイパーパラメーターとして扱うこともできます。

これは一部のアプリケーションですでに一般的な慣行ですか？データの最適な分割に関する理論的な作業はありますか？

最初に、3つのパーティションが何をするのかを間違えていると思います。テストデータに基づいて選択することはありません。アルゴリズムは、トレーニングデータに基づいてパラメーターを調整します。次に、検証データでそれらを実行して、アルゴリズム（およびトレーニングされたパラメーター）を比較し、勝者を決定します。次に、テストデータで勝者を実行して、実世界でどれだけうまくいくかを予測します。

モデルをオーバーフィットするため、トレーニングデータを検証しません。検証ステップで勝者を得るために物事を繰り返し調整しているので、検証ステップの勝者のスコアに止まらないので、独立テスト（特に調整していない）が必要です現在のアリーナ以外でどれだけうまくやれるかというアイデア。

第二に、ここでの制限要因の1つは、データの量です。ほとんどの場合、データを固定パーティションに分割したくないため、CVです。

これは興味深い質問であり、@ Wayneからの回答に役立つことがわかりました。

私の理解では、データセットを異なるパーティションに分割することは、作成者の目的と、実際のアプリケーションでのモデルの要件に依存します。

通常、トレーニングとテストの2つのデータセットがあります。トレーニング1は、モデルのパラメーターを見つけるため、またはモデルに適合するために使用されます。テストの1つは、見えないデータ（または実世界のデータ）のモデルのパフォーマンスを評価するために使用されます。

トレーニングの1ステップだけを行うと、トレーニングとテスト（または検証）プロセスがあることは明らかです。

ただし、この方法では、モデルが1つのデータセットで一度にトレーニングされると、過剰適合の問題が発生する可能性があります。これにより、実世界の問題でモデルが不安定になる可能性があります。この問題を解決する1つの方法は、トレーニングデータセット内のモデルを相互検証（CV）することです。つまり、トレーニングデータセットを異なるフォールドに分割し、他のフォールドでトレーニングされたモデルをテストするために1つのフォールドを保持します。勝者は現在、CVプロセス全体で最小の損失を与えるものです（私たち自身の目的関数に基づいて）。このようにすることで、トレーニングプロセスに過剰に適合する可能性を最小限に抑え、正しい勝者を選択することができます。このテストセットは、不可視データの勝者を評価するために再び使用されます。