非線形プログラミングでSQPが拡張ラグランジアンよりも優れているのはなぜですか？

9

Galahad [1]に関する技術レポートでは、著者は一般的な非線形計画問題との関連で、

私たちの心には、SQP [逐次二次計画法]メソッドが[拡張ラグランジュ法]よりも長期的に成功するという疑問はほとんどありませんでした...

その信念の根拠は何でしょうか？つまり、SQP法が拡張ラグランジュ法よりも高速/信頼性が高いことを示唆する理論的な結果はありますか？

[1] Gould、Orban、およびTointによる、大規模な非線形最適化用のスレッドセーフなFortran 90パッケージのライブラリであるGalahad

nonlinear-programming

— cjordan1
ソース

2

SQPメソッドでは、目的が区別できない場合でも拡張ラグランジアンが機能する一方で、目的が2倍に区別可能である必要があります（cf https://en.m.wikipedia.org/wiki/Sequential_quadratic_programming）（画像処理コミュニティでの最近の復活cf ftp： //arachne.math.ucla.edu/pub/camreport/cam09-05.pdf）

ガラハッドソフトウェアについては知りませんが、微分可能な最適化問題を解決することになっている場合は、目的関数を微分できる方法を使用することで、おそらくはるかにうまくいくでしょう。

— ドランソ
ソース

SQPが2階微分可能な目的関数を必要とすることは真実ではありません。目的関数の微分可能性が低い場合、収束率がより低いメソッドが得られる可能性がありますが、これは拡張ラグランジュ法とまったく同じです。

— Wolfgang Bangerth 2014年

2

外部反復に関しては、SQPには2次導関数情報が含まれているため勝つはずですが、ADMMなどの拡張ラグランジアンメソッドには含まれません。

ただし、これらのメソッドの各反復には線形システムの解法が含まれるため、これらのシステムの解法がいかに容易であるかを考慮する必要があることに注意してください。

(A^{T} A + ρ I) x = b,

$(A^TA + \rho I)x = b,$

A

$A$

ρ

$\rho$

min_{x} | | A x - b | |^{2}

$\min_x ||Ax-b||^2$

H x = g,

$Hx = g,$

H

$H$

g

$g$

A

$A$

ヘッセ行列の事前調整はかなりトリッキーなビジネスであり、前方の問題を事前調整するよりもはるかに研究されていません。標準的な方法は、ヘッセ逆行列をL-BFGSで近似することですが、これは、ヘッセ逆行列が高次である場合、効果が制限されます。もう1つの一般的な方法は、ヘッセ行列を低ランクの行列と反転が容易な行列の和として近似することですが、これも難しい問題に対する効果が限られています。他の一般的なヘッセ推定手法は、スパース近似に基づいていますが、連続体の問題では、スパース近似が不十分なヘッセ行列がよくあります。

— ニック・アルガー
ソース

A

$A$

H

$H$

H

$H$

H^{- 1}

$H^{-1}$

A

$A$

A

$A$

A

$A$

A^{T} A + ρ I

$A^TA + \rho I$

H

$H$

A

$A$

A

$A$

A^{T}

$A^T$

min_{q, u} \frac{1}{2} | | C u - y | |^{2} + \frac{α}{2} | | R q | |^{2}

$\min_{q,u} \frac{1}{2}||Cu - y||^2 + \frac{\alpha}{2}||Rq||^2$

A u = q

$Au=q$

H = A^{- T} C^{T} C A^{- 1} + α R^{T} R

$H = A^{-T}C^TCA^{-1} + \alpha R^T R$

H

$H$

H^{- 1}

$H^{-1}$

S (q) = u

$S(q) = u$

S

$S$

q

$q$

u

$u$

- \nabla \cdot (q \nabla u) = f

$-\nabla\cdot(q\nabla u) = f$