損失関数の2次近似（ディープラーニングブック、7.33）

ディープラーニングに関するGoodfellow（2016）の本で、彼はL2正則化への早期停止の同等性について話しました（https://www.deeplearningbook.org/contents/regularization.html 247ページ）。

コスト関数$j$ 2次近似は、次の式で与えられます。

$$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$$

$H$

$$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$$

彼らは最適な重みについて話します：

重み経験的に最適な値の近傍で、2次近似を使用してコスト関数をモデル化できます。$J$$w^∗$

その時点で、1次導関数はゼロです。したがって、中間項は省略されます。