オーバーフィッティングの数学的/アルゴリズム的定義

オーバーフィッティングの数学的またはアルゴリズム的な定義はありますか？

多くの場合、定義は、ポイントが1つ1つのポイントを通過し、検証損失曲線が突然上昇する、ポイントの古典的な2次元プロットです。

しかし、数学的に厳密な定義はありますか？

はい、（もう少し）厳密な定義があります：

一連のパラメーターを持つモデルが与えられた場合、一定数のトレーニングステップの後、サンプル（テスト）エラーが増加し始めている間にトレーニングエラーが減少し続ける場合、モデルはデータを過剰適合していると言えます。

^{この例では、サンプル（テスト/検証）からのエラーが最初にトレインエラーと同期して減少し、次に90のエポック頃、つまりオーバーフィットが開始されたときに増加し始めます。}

もう1つの見方は、バイアスと分散の観点です。モデルのサンプル誤差は、2つのコンポーネントに分解できます。

• バイアス：推定モデルの期待値が実際のモデルの期待値と異なるために発生したエラー。
• 分散：モデルがデータセットの小さな変動に敏感であることによるエラー。

$X$

$Y = f(X) + \epsilon$$\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

推定モデルは次のとおりです。

$\hat{Y} = \hat{f}(X)$

$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

$Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

（厳密に言えば、この分解は回帰の場合に適用されますが、同様の分解は損失関数、つまり分類の場合にも機能します）。

上記の定義は両方とも、モデルの複雑度（モデル内のパラメーターの数で測定）に関連付けられています。モデルの複雑度が高いほど、過剰適合が発生する可能性が高くなります。

トピックの厳密な数学的処理については、統計学習の要素の第7章を参照してください。

^{バイアスと分散のトレードオフと分散（オーバーフィット）は、モデルの複雑さとともに増加します。ESL Chapter 7から取得}