ニューラルネットワークの早期停止と、相互検証を使用する場合の意味の理解

早期停止の手法がどのように定義されているかという考えに、私は少し困惑して混乱しています。Wikipediaを見てみると、次のように定義されています。

1. トレーニングデータをトレーニングセットと検証セットに、たとえば2対1の比率で分割します。
2. トレーニングセットでのみトレーニングを行い、検証セットの例ごとのエラーを時々、たとえば5エポックごとに評価します。
3. 検証セットのエラーが最後にチェックされたときよりも大きくなるとすぐにトレーニングを停止します。
4. トレーニング実行の結果として、ネットワークがその前のステップで持っていた重みを使用します。

私は自分の実験でメソッドを使用していました（10倍の交差検証を使用）。各エポックで検証エラーをチェックし（検証精度も計算）、忍耐パラメーターを2に設定しています。つまり、検証エラーが2エポックで連続して増加する場合は、トレーニングを停止します。次に、モデルが終了した最後のエポックの結果を使用しました。

Ian Goodfellowは、ディープラーニングの本で別の定義を使用しています。4番目のステップとして、最も効果的なモデルの重みを使用することを提案します（つまり、検証エラーがチェックされるたびにモデルを保存します）。

保存したモデルは必要ありません。自分の作業の結果だけが必要です。したがって、私にとってグッドフェローによる早期停止の提案は、最終結果で達成した最高の検証精度を採用することを意味しますか？どういうわけかこれは合法的ではないようです。開発セットがない実際の状況では、この情報はありません。しかし、その場合、そもそも早期停止を使用する理由は何でしょうか。たとえば、フォールドのエポック数を平均してエポック数を決定し、それを後で実行するテストに使用しますか？

たとえば、フォールドのエポック数を平均してエポック数を決定し、それを後で実行するテストに使用しますか？

可能な限り短い答え：はい！しかし、いくつかのコンテキストを追加しましょう...

ディープラーニングブックの早期停止に関するセクション7.8、246ページ以降を参照していると思います。ただし、そこで説明されている手順は、実際の手順とは大きく異なります。Goodfellow et al。最初に、トレーニング、開発、テストの3つのセットにデータを分割することをお勧めします。次に、そのモデルからのエラーが（開発セットで）増加するまで（トレーニングセットで）トレーニングし、その時点で停止します。最後に、開発セットのエラーが最も少ないトレーニング済みモデルを使用して、テストセットで評価します。相互検証は一切含まれていません。

ただし、早期停止（ES）と交差検証（CV）の両方、およびモデルの評価をすべて同じセットで実行しようとしているようです。つまり、すべてのデータをCVに使用し、ESを使用して各スプリットでトレーニングし、それらのCVスプリットの平均パフォーマンスを最終的な評価結果として使用しているようです。それが事実である場合、それは確かに過度の適合であり（確かにGoodfellow et al。によって記述されているものではありません）、あなたのアプローチは、ESが意図するものとは正反対の結果を提供します- 防止する正則化手法として過剰適合。理由が明確でない場合：トレーニング中に最終的な評価インスタンスに「ピーク」を設定して、トレーニングをいつ（「早期」）停止するかを把握したため。つまり、トレーニング中に評価インスタンスに対して最適化しています。これは、定義上、モデルを（その評価データに対して）（過剰に）適合しています。

それで、今までに、他の2つの質問にお答えしたいと思います。

higgs brosonによる回答（上記の最後の質問に対する）は、CVとESを組み合わせてトレーニング時間を節約するための有意義な方法をすでに提供しています：完全なデータを2つのセット（devとテストセット）にのみ分割できます-devセットを使用して、各スプリットにESを適用しながらCVを行います つまり、開発セットの各スプリットでトレーニングを行い、そのスプリットを評価するために取っておいたトレーニングインスタンスの最小エラーに達したら停止します[1]。次に、各スプリットから最小のエラーに到達するために必要なエポック数を平均し、その（平均された）エポック数の完全な開発セットでトレーニングします。最後に、脇に置いてまだ触れていないテストセットでその結果を検証します。

[1] higgs brosonとは異なり、毎回評価することをお勧めします。その理由は2つあります。（1）トレーニングと比較して、評価時間はごくわずかです。（2）、あなたの分を想像してください。エラーはエポック51にありますが、エポック50および60で評価します。エポック60でのエラーがエポック50でのエラーよりも低くなる可能性は低くありません。それでも、エポックパラメータとして60を選択します。これは明らかに最適とは言えず、実際には最初からESを使用する目的に少し反しています。

交差検証を使用して、早期停止でトレーニングするエポックの最適な数を決定する方法は次のとおりです。1から100エポックまでトレーニングしていると仮定します。フォールドごとに、モデルをトレーニングして、たとえば10エポックごとに検証エラーを記録します。検証エラーと訓練されたエポックの数のこれらの軌跡を保存し、すべてのフォールドにわたってそれらを平均します。これにより、「平均テストエラーvsエポック」曲線が生成されます。使用する停止点は、平均テストエラーを最小化するエポックの数です。その後、その多くのエポックの完全なトレーニングセット（相互検証なし）でネットワークをトレーニングできます。

早期停止の目的は、過剰適合を回避することです。N分割交差検証を使用して、Nの合成トレイン/テストセットを作成し、（通常は）結果を平均して、モデルの一般化誤差を推定します。うまくいけば、後で与えられるテストセット（別名新しい実世界のデータ）は、CVで生成された合成テストセットと十分に類似しているので、この新しいテストでは、以前に見つけた停止点が最適に近くなります。データ。