Pythonで線形制約を使用して最小二乗問題を解く

解決する必要があります

\begin{aligned} \underset{バツ}{分} ‖ A バツ - b ‖_{2}^{2} 、 \\ s 。 t 。 & \sum_{私} {バツ}_{私} = 1 、 \\ {バツ}_{私} \geq 0 、 \forall 私 。 \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

私はそれがCVXOPTで解決できる二次問題だと思いますが、どうやって解決するかはわかりません。

— ティルステン
ソース

この質問がcompsciにとってあまり具体的ではないことを願っています。

— ティルステン

Geoff Oxberry：好奇心だけですが、なぜ線形部分を編集したのですか？私はそれが問題記述のかなり無力な部分だと思う、解は非線形最小二乗最適化のためにかなり異なるだろう。

— ティルステン

ところで、他の編集は素晴らしいです！

— ティルステン

非常に効率的な方法で、独自のコードでこれを簡単に解決できます。CVXOPTの必要はありません。

— -Royi

回答:

CVXPYを発見する前に、完全な回答（行の下）を書きました。これは（MATLABのCVXのように）あなたのためにすべての難しいことを行い、ここであなたとほとんど同じ非常に短い例を持っています関連する行を置き換えるだけです

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

私の古い答え、CVXOPTでそれをより困難な方法で行う：

目的関数を二乗するGeoffの提案に従って

‖ A バツ - b ‖_{2}^{2} = ⟨ {バツ}^{T} A^{T} - b^{T} 、 A バツ - b ⟩ = {バツ}^{T} A^{T} A バツ - b^{T} A バツ - {バツ}^{T} A b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

もちろん、すべての項はスカラーであるため、3番目の項を転置し、最後の項をドロップできます（依存しないため、どのが最小値を与えるかは変更しませんが、再度追加する必要があります）目的の正しい値を取得するために解いた後）を得るためにこれは（制約を含む））二次プログラムの形式を持ち、 CVXOPTのドキュメントはこちら（このような問題を解決するためのサンプルコードもあります）。 $x$ $x$

{バツ}^{T} A^{T} A バツ - b^{T} （ A + A^{T} ） バツ

$x^TA^TAx - b^T(A + A^T)x$

— デビッド・ケッチャソン
ソース

解決した問題の代わりに、解決します

\begin{aligned} \underset{バツ}{分} ‖ A バツ - b ‖_{2}^{2} 、 \\ s 。 t 。 & \sum_{私} {バツ}_{私} = 1 、 \\ {バツ}_{私} \geq 0 、 \forall 私 。 \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

この問題は、CVXOPT、IPOPT、または他の任意の凸最適化ソルバーで解決できる微分可能な凸状の非線形最適化問題です。

— ジェフ・オックスベリー
ソース