線形回帰における勾配降下の最適学習率を決定する

勾配降下法の最適な学習率を決定するにはどうすればよいですか？コスト関数が前の反復よりも大きな値を返す場合（アルゴリズムは収束しない）、自動的に調整できると考えていますが、実際にどのような新しい値をとるのかわかりません。

（数年後）Barzilai-Borweinのステップサイズ法を調べます。 onmyphd.comには、3ページの説明があります。著者は言う

このアプローチは、大きな次元の問題でもうまく機能します

しかし、彼の2d Rosenbrock関数のアプレットにとってはひどいです。Barzilai-Borweinを使用している場合は、コメントしてください。

あなたは正しい軌道に乗っています。一般的なアプローチは、下り坂で成功した場合は必ずステップサイズを2倍にし、誤って「遠すぎる」場合はステップサイズを半分にすることです。もちろん、2以外の係数でスケーリングすることもできますが、通常は大きな違いはありません。

より洗練された最適化方法は、収束をかなり高速化する可能性がありますが、何らかの理由で独自の更新をロールする必要がある場合、上記は魅力的にシンプルで、多くの場合十分です。