初期ヘッセ近似に対するBFGSの感度

関数の最小値を見つけるために、Broyden-Fletcher-Goldfarb-Shannoメソッドを実装しようとしています。2つの初期推定$x_{-1}$＆$x_0$と初期ヘッセ行列近似$B_0$です。について私が見つける唯一の要件$B_0$は、ヘッセ行列が対称正定値である場合、もそうであること$B_0$です。ウィキペディアを見ると、典型的な初期近似は$B_0=I$（単位行列）であることがわかります。これは常に良い初期$B_0$ですか？自分以外を選びたいと思う理由はありますか$I$？同じ行列特性を満たすBの他の選択は、メソッドの収束に大きな影響を与えるでしょうか？

正当化されたヘッセ近似がある場合は、任意のではなく、それを使用することをお勧めします。$B_0=I$

$x^*$$r>0$$r+1$$r+1$$q=\|B_0^{-1}f''(x^*)-G\|$$<1$$r$$G$単位行列の。したがって、これを小さくしようとすることは非常に価値があります。（これはシステムの事前条件付けと同等です。）収束係数は時間とともに改善し、最終的にはゼロ（超線形収束）に近づきますが、多くの実際の問題（特に高次元の問題）では、超線形領域に到達するのに十分な反復を行うことはありません。したがって、初速度は非常に重要です。

1つの重要なケースは、非線形最小二乗問題を解決するとき（最小化です。初期ヘッシアンのガウスニュートン近似は次のようになります。 2次導関数を必要とせずに計算されます。これを使用すると、BFGSメソッドは不変式、つまりニュートン法のように線形変換の下で不変式になります。これは通常非常に有益です。$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

別の重要なケースは、関連する一連の問題を解決する場合です。多くの場合、前の問題の最終的なヘッセ近似でソルバーを再起動すると、必要な反復回数が大幅に減少します。