線形制約付きの片側非線形最小二乗

8

私は線形制約付きの片側非線形最小二乗問題、つまり問題を解決しようとしています：

$\min_{\mathbf{x}} \quad \sum^m_{i=1} \mathbf{r}_i(\mathbf{x}) \qquad \text{ s.t } \quad A\mathbf{x} \leq \mathbf{b}$

どこ

$r_i(\mathbf{x})=f_i(\mathbf{x})^2$ if $f_i(\mathbf{x})>0$ 場合、 $r_i(\mathbf{x})=0$ 。

言い換えれば、これは正の残差（ $f$ ）のみが含まれる最小二乗問題と考えることができます。これがデータフィッティングケースではないことを強調できません。ほとんどのデータフィッティングの場合に使用するとどうなるかを知っています。結果は、すべての観測値の「上の」関数にすぎません。このアプリケーションは、通常minmaxノルムで解決される特定の最適化問題を解決するためのものです（ $\min_{\mathbf{x}} ||\mathbf{f}(\mathbf{x})||_\infty$ ）。すべての実際的なケースでは、関数の動作により、解はゼロに到達しません。つまり、です。 $||\mathbf{f}(\mathbf{x})||_\infty \neq 0$ $f$

関数は、非線形であり、我々は解析的にあまり余計なトラブルもなくヤコビアンを計算することができるようなその誘導体へのアクセスを、持っています。 $f$

いくつかの成功を収めて、目的関数が上記のように定式化されるLevenberg-Marquardtアルゴリズムを適用しました。つまり、0未満のが合計から削除され、ヤコビアン対応する行がゼロに設定されます（つまり、 ifこれはかなり大雑把ですが問題なく動作しますが、残念ながら線形制約を組み込むことができませんでした。 $f$ $J$ $J_{i,:}=0$ $f_i(\mathbf{x})<=0$

制限された制約のみでNLLSQ問題を解決する多くの方法を認識していますが、これらの方法は明らかに問題を解決しません。DQEDと呼ばれる線形制約付きのNLLSQを1つだけ見つけ、それをLevenberg Marquardtで行ったように目的関数を変更することにより、制限された成功（反復/関数評価の数に不満）で使用しました。

私が探しているもの

線形制約のある非線形最小二乗問題を解く方法の提案。また、正の残差のみを含めるという事実を組み込むためにアルゴリズムを変更する方法に関する提案も歓迎されます。最後に、ヒントや考えは大歓迎ですが、問題の定式化は間違っていないことを再度強調しなければなりませんが、微分可能性がないため、最適化には最適ではないことに気づきました場合。 $r_i(\mathbf{x})$ $r_i(\mathbf{x})=0$

algorithms optimization

— OscarB
ソース

あなたが書くとき、あなたが意味するかまたは？私は後者を推測していますか？

‖ f (x) ‖_{\infty}

$\|f(x)\|_\infty$

max_{x} | f (x) |

$\max_x|f(x)|$

max_{i} | f_{i} (x) |

$\max_i|f_i(x)|$

— David Ketcheson、

後者、はい。不明な点がありました。

— OscarB

2

この質問に対する私の答えの多くはここでも当てはまります。PDEの部分を無視して、ありふれた非線形最適化問題について話しているふりをしてください。

一般に、連続関数があるため、直接検索法を使用できますが、それらの方法の収束は、高次の微分情報を使用する対応する方法（この場合はありません）よりも遅くなる可能性があります。また、バンドルメソッドを使用するような滑らかでない最適化ソルバーを確認することもできます。この分野の主な名前は、滑らかでない最適化の背後にある理論の多くを開発したフランククラークです。それ以外の場合、私はその文学の集まりについてあまり知りません。

私の推測では、目的が微分不可能なため、1次または2次の微分情報を仮定する方法を使用すると、収束の問題が発生します。

— ジェフオックスベリー
ソース

ありがとう、スムーズでない最適化を試みます。私はまだこの問題を見ている誰かを見つけることを望んでいます-私がこれに住んでいたのが私だけであるならば、私は驚かれることでしょう。だから、私は少し質問を開いたままにしておきます。

— OscarB

0

（数年後）ご存知のように、Levenberg-Marquardtオプティマイザは関数のベクトル全体を取り、内部で合計と二乗を行います。したがって、は、のみを表示し。これは、正しいですか？ $[f_i]$
$\qquad levmar(\ max(\ [f_i ...],\ 0\ )]$
$f_i > 0$

線形制約はと同じプロパティを持ち、正の項のみが重要です。したがって、たくさんのレバレッジを作成できます。（に1000または1000000を掛けたものです。と符号を見る必要がありますが、それは簡単です。また、が無限に離れないようにするために、項を追加します。 $lin_i(x) \equiv A_i \cdot x - b_i \leq 0$ $f_i$
$\qquad levmar(\ max(\ [f_i ...\ lin_i ...],\ 0\ )]$
$lin_i$ $Jacobians_i(x)$ $f_i$ $lin_i$ $\|x\|$ $x$

（Scipy least_squares とceres はどちらもボックス制約を行いますが、領域をボックスにマッピングする方法はありません。） $Ax\leq b$

— デニス
ソース