Andrew Ngがコースラで機械学習に関するオンラインコースを受講しているときに、オーバーフィッティングというトピックに出くわしました。勾配降下法が線形回帰またはロジスティック回帰で使用される場合に発生することはわかっていますが、「共役勾配」、「BFGS」、「L-BFGS」などの高度な最適化アルゴリズムが使用される場合にも発生する可能性はありますか？
Andrew Ngがコースラで機械学習に関するオンラインコースを受講しているときに、オーバーフィッティングというトピックに出くわしました。勾配降下法が線形回帰またはロジスティック回帰で使用される場合に発生することはわかっていますが、「共役勾配」、「BFGS」、「L-BFGS」などの高度な最適化アルゴリズムが使用される場合にも発生する可能性はありますか？
回答:
オーバーフィットのリスクを完全に排除する手法はありません。リストした方法はすべて、線形モデルをあてはめるためのさまざまな方法です。線形モデルにはグローバルな最小値があり、その最小値は、使用している勾配降下法の種類に関係なく（正則化を使用している場合を除いて）変更されないため、リストしたすべてのメソッドがオーバーフィット（またはアンダーフィット）。
線形モデルからディープラーニングなどのより複雑なモデルに移動すると、過剰適合のリスクがさらに高まります。たたみ込みでは重みを共有することで過剰適合の可能性を大幅に低減するはずであるにもかかわらず、私は多くの複雑なニューラルネットワークで過剰適合しています。要約すると、モデルファミリーや最適化手法に関係なく、過剰適合のための特効薬はありません。
過剰適合は、通常、モデルのデータと構造の結果です。あなたが言及する「高度な」アルゴリズムには、目的やデータに応じて他の方法を実行する場合と実行しない場合がある特定の用途があります。ここにいくつかのさらなる読書のためのソースがあります：http : //papers.nips.cc/paper/1895-overfitting-in-neural-nets-backpropagation-conjugate-gradient-and-early-stopping.pdf