「サドルフリーニュートン」降下アルゴリズムが実際に使用されないのはなぜですか？

最近、Yann Dauphinらの論文を読みました。高次元の非凸最適化における点問題の特定と攻撃。ここでは、サドルフリーニュートンと呼ばれる興味深い降下アルゴリズムを導入します。バニラSGDとしての一次メソッドのような。

このペーパーは2014年にさかのぼるので、まったく新しいものではありませんが、「野生で」使用されているのを見たことはありません。この方法が使用されないのはなぜですか？ヘッセ計算は、実世界規模の問題/ネットワークに対して非常に禁止的すぎますか？このアルゴリズムのオープンソース実装さえありますか？おそらく、いくつかの主要なディープラーニングフレームワークで使用されるでしょうか？

2019年2月の更新：現在利用可能な実装があります：https : //github.com/dave-fernandes/SaddleFreeOptimizer）

より良い最適化は必ずしもより良いモデルを意味しません。最終的に私たちが気にするのは、モデルがどれだけうまく一般化されるかであり、必ずしもトレーニングセットのパフォーマンスがどれほど良いかということではありません。より洗練された最適化手法は、通常、トレーニングセットでパフォーマンスが向上し、収束が速くなりますが、基本アルゴリズムと同様に常に一般化されるわけではありません。たとえば、このペーパーは、SGDがADAMオプティマイザーよりも一般化できることを示しています。これは、2次の最適化アルゴリズムの場合にも当てはまります。

[編集]ここでは適用されないため、最初の点を削除しました。これを指摘してくれたbayerjに感謝します。