早期停止と相互検証

私は現在、過剰適合を防ぐために私の仕事で早期停止を使用しています。具体的には、早期停止から取られたものですが、いつですか？。

ここで、10分割交差検証が広く使用されていると思われる他の分類アルゴリズムと比較したいと思います。

ただし、クロス検証が適切なパラメーターの過剰適合または選択を防ぐための方法であるかどうかについては、混乱しています。（またはこれはまったく同じですか？）また、早期停止方法と相互検証を相互に、または組み合わせて使用​​できるかどうかもわかりません。

だから問題は：早期停止と相互検証の関係は何ですか？

交差検証は、教師あり学習アルゴリズムの汎化精度を推定する方法です。

早期停止は過剰適合を回避する方法であり、学習モデルの汎化精度とトレーニング精度の関係を評価する方法が必要です。

したがって、早期検証フレームワーク内で、相互検証を使用して、引用した論文で言及されている検証セットを置き換えることができます。たとえば、10分割交差検証は、単一の検証セットを使用するよりも正確であり、通常、汎化エラーのより良い推定になります。

要約すると、相互検証は、早期停止フレームワークの一部として使用できる一般化の精度の測定です。

あなたが言及する2つの一般化アプローチに加えて、他にもたくさんあります。

• ゼロ（モデル）パラメーターの数と大きさを最小化する正則化項を損失（コスト）関数に追加する
• 各トレーニングエポックでモデルの重み/パラメーターの一部をランダムにドロップ（ゼロアウト）する
• モデルに確率ノードの層を追加する（たとえば、ロジスティック関数の出力によって与えられる「確率」からのサンプリング）

これらのアプローチの多く（交差検証と早期停止のアプローチを含む）を組み合わせて、目に見えないデータに対するモデルのパフォーマンス（汎化パフォーマンス）を最大化できます。

早期停止のアプローチに関する1つの注記。ニューラルネットの場合、Geoffrey Hintonは、テストセットの精度が最大に達したときにトレーニングを停止することをお勧めします（正規化項を除くテストセットの損失は最小です）。ヒントンのアプローチのもう1つの「微調整」は、テストセットの精度が改善しなくなった（テストセットの損失が減少しなくなった）場合でも、test_setの精度がトレーニングセットよりも良い（損失が小さい）場合に停止しないことです。これで複数のエポックのトレーニングが得られる可能性は低いですが、特に小さなtest_setの場合は、少し役立つことがあります。極端に小さなテストセット（Kフォールドトレーニングや交差検証で時々使用されるような、代表的なサンプルセットよりも小さい）ではこれを行わないでください。

早期停止とK分割交差検証を組み合わせて使用​​することはできません。早期停止は検証セットから最適なモデルを選択するため、パフォーマンスはテストセットで検証する必要があります。ただし、K分割交差検証では、早期停止を使用して検証セットから最適なモデルを選択した場合、テストセットはありません。検証セットで再度検証されます。K分割交差検証は、最良のモデルの平均精度（精度で測定）を取得していますが、それは意味がありません。