BFGSアップデートの直感的な動機

私は数値分析調査クラスを教えており、最適化の背景/直感が限られている学生のためのBFGS法の動機付けを求めています！

JのK（→ X K - → Xのk - 1）= F （→ X K）- F （→ Xのk - 1$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

BFGSアップデートの派生は、はるかに複雑で曖昧なようです！特に、更新がランク2であるか、特定の形式をとるべきであるとアプリオリに仮定したくない。BroydenのようなBFGS Hessianの更新には、変則的に見える短い動機がありますか？

BFGSの導出は、（厳密に）凸コスト関数を考慮すると、より直感的です。

ただし、いくつかの 背景 情報が必要です。たとえば、凸関数 を最小化するとし 近似解x_kがあるとします。そして、1は最小の近似Fを切り捨てテイラー展開の最小値によって F（X_K + P）\約F（X_K）+ \ナブラF（X_K）^ Tpを+ \ FRAC {1} {2} P ^ TH（ x_k）p。\ quad（*） つまり、（*）が最小になるようにpを探し、x_ {k + 1}：= x_k + pを設定します。（*）の勾配を計算します-「pに関して」-そしてそれをゼロに設定すると関係が得られます X K F F （X 、K + P ）≈ F （X 、K）+ ∇ F （X 、K ）Tの P +

$$f(x) \to \min_{x\in \mathbb R^n}.$$ $x_k$$f$P （* ）X K + 1：= X K + P （* ）P H （X K）[ X K + 1 - X K ] = ∇ F （X 、K + 1）- ∇ F （X 、K） $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ $p$$(*)$$x_{k+1} := x_k + p$$(*)$$p$ $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ ここで、$H$は「勾配のヤコビアン」またはヘッセ行列です。

ヘッセ行列の計算と反転は高価なので...

---

... 短い答え

（Broydenの更新を参照）BFGS更新H_ {k + 1} ^ {-1} は、賢明に選択された重み付きフロベニウスノルムで \ | H_k ^ {-1}-H ^ {-1} \ | _W を$H_{k+1}^{-1}$最小化する かもしれません。の対象

$$\|H_k^{-1} - H^{-1}\|_W$$

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ -これが目的です-そして
2. $H^T = H$ヘッセ行列は対称であるため、H ^ T = Hです。

---

重量の次に選択にの逆数として平均ヘッセ、cf。ここでは、ステートメントではあるが証明なしで、BFGS更新式を提供します（）。$W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

主なポイントは次のとおりです。

• 二次近似の解によって実際のコストの解を近似しようとします
• ヘッセ行列とその逆の計算は高価です。単純な更新が好まれます。
• 更新は、実際のヘッセ行列ではなく、逆行列に対して最適に選択されます。
• ランク2の更新であることは、フロベニウスノルムの重みの特定の選択の結果です。

長い答えは、非凸問題（探索方向のスケーリング必要と湾曲状態が表示され、この作品を作る方法を、重みを選択する方法を含むべきである）、そしてどのように更新のため、実際の式を導出します。参照はこちら（ドイツ語）。$p$