ラインサーチで3次と2次の内挿を決定するのに役立ちます

準ニュートンBFGSアルゴリズムの一部としてラインサーチを実行しています。ラインサーチの1つのステップで、3次補間を使用して、ローカルミニマイザーに近づけます。

してみましょう$f : R \rightarrow R, f \in C^1$関心の関数です。f ′（x ∗）≈0となるようなを見つけたい。$x^*$$f'(x^*) \approx 0$

ましょう$f(x_k)$、$f'(x_k)$、$f(x_{k+1})$と$f'(x_{k+1})$知られています。また、想定$0\le x_k<x^*<x_{k+1}$。三次多項式$Q(x)=ax^3+bx^2+cx+d$ので、$Q(0)=f(x_k)$、$Q'(0)=f'(x_k)$、$Q(x_{k+1}-x_{k})=f(x_{k+1})$と。$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

私は二次方程式を解きます：は、閉形式の解を使用して、求めたx ∗ に対してです。$(1): Q'(x^*-x_k) = 0$$x^*$

上記は、が（1 ）の閉じた形の解をaで割るaで除算する場合を除いて、ほとんどの場合にうまく機能します。$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

私の解決策を見ていると、それは「小さすぎる」であれば、単純に二次多項式の最小化のための閉じた形のソリューション取るQ 2（X ）= B のx 2 + C X + D私はすでに係数の持っているBを、C 、Dへの以前のフィットからQ （X ）。$a$$Q_2(x)=bx^2+cx+d$$b,c,d$$Q(x)$

私の質問は次のとおりです。立方体に対して2次補間を行うタイミングを調べるにはどうすればよいでしょうか。以下のためのテストへの単純なアプローチ≡ 0は私が探していますので、数値的な理由による悪いです| a | < ε τどこεはマシンの精度ですが、私は良いのかを決定することができないんだτの規模不変だFを。$a \equiv 0$$|a| < \epsilon\tau$$\epsilon$$\tau$$f$

おまけの質問：失敗した3次近似からの係数使用に数値的な問題はありますか、または係数を計算する適切な方法で新しい2次近似を実行する必要がありますか？$b,c,d$

明確化のための編集： 私の質問で一般に呼ばれているもの、実際にあるφ （α ）= F （ˉ X K + α ¯ P K）文献に記載されています。質問の定式化を単純化しました。私が解決している最適化問題は、6次元では非線形です。また、BFGSライン検索にはWolfe条件で十分であることをよく知っているので、f ′（x ∗）≈0に興味があったと述べてい$f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$; 強力なウルフ条件を満足するものを探しています。3次近似の最小化を行うことは、そのための良いステップです。

問題はBFGSについてではなく、2次近似がより適切であるほど3次係数が小さい場合をどのように決定するかでした。

編集2：表記法を更新します。方程式は変更されません。

うーん... 3次補間は、ラインサーチでは前例のないものではありませんが、通常はやり過ぎです。

私があなたの問題を正しく読んでいる場合、は単なるスカラーですか？この場合、BFGSはおそらく問題を解決する最も効率的な方法ではありません。ブレンスの方法のようなスカラー最適化アルゴリズムは、問題をより早く解決する可能性があります。$x$

BFGSには多くのライン探索アルゴリズムがあります。私自身のアプリケーションの場合、メモリ制限のあるBFGS（L-BFGS）を使用すると、このラインサーチは非常にうまく機能します。ウォルフ条件を満たすだけで十分であり、正確な最小化関数を見つけることであまり効果が得られないことに注意してください。

とにかく、実際にあなたの質問に答えるために：3次のものを解いてNaNやInf（ここで行われているように）などの「悪い」値が得られる場合は、単純に2次多項式に切り替えることを検討します。

を使用してあなたが何を意味するのかよくわかりませんか？3次近似のこれらの係数は2次近似の係数と同じではないため、再利用できません。$b,c,d$

最後に、f （x 0）ではなくを使用することもできます。これは、関数が（おそらく）ローカルではほぼ3次または2次であるためであり、x kおよびx k − 1はより互いに（及び溶液）X 0。$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

お役に立てれば。

それについて、Nocedalによって実装されたMoréの論文があります。

ホルヘJ.モレとデビッドJ.トゥエンテ。1994.十分な減少が保証されたラインサーチアルゴリズム。ACM Trans。数学。Softw。20、3（1994年9月）、286-307。DOI http://dx.doi.org/10.1145/192115.192132 （プレプリント）。