乗数の交互方向法の背後にある直観

私は最近ADMMに関する多くの論文を読んでおり、それを使用していくつかの問題を解決しようとしましたが、そのすべてが非常に効果的でした。他の最適化手法とは対照的に、この手法がどのように、そしてなぜ効果的であるかについては、直感がわかりません（もちろん、いくつかのケースで収束分析を見てきましたが、あまり洞察力がありませんでした）。ADMMの背後にある直感はありますか？それを最初に使用した科学者はどのようにしてこのアイデアを思い付きましたか？いくつかの幾何学的な直感が最善ですが、だれでも持っている洞察は役に立ちます。

$$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad Ax+By = c$$ $F$$G$$A$$B$

次の、、特殊なケースがわかります。この場合、制約は。つまり、問題置き換えることができ の形式の問題を解決するのはですが、これを解決するのは困難です 。（この例は自分で作成できますが、一般的なものはおよび）。ADMMでは、「分割フォーム」 から開始して、「拡張ラグラジアン」を構築します $A=I$$B=-I$$c=0$$x - y = 0$

$$\min_x F(x) + G(x).$$ F（X）=λ‖X‖1G（X）= $$\min_x \rho F(x) + \tfrac12\|x-z\|^2$$ $F(x) = \lambda\|x\|^1$分のX、YF（X）+G（Y）$G(x) = \tfrac12\|Ax-b\|^2$のL ρ（X 、Y 、Z ）= F （X ）+ G （Y ）+ Z T（X - Y ）+ $$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad x-y=0$$ $$L_\rho(x,y,z) = F(x) + G(y) + z^T(x-y) + \tfrac\rho2\|x-y\|^2$$ ラグランジュ乗数 。これで、と異なる方向で増加したラグラジアンを交互に最小化します。つまり、反復します およびに従って乗数を更新します これは、乗数の名前の交互方向の方法を説明する必要があります。$z$ $x$$y$ $$x^{k+1} = \mathrm{argmin}_x\ L_\rho(x,y^k,z^k)$$ $$y^{k+1} = \mathrm{argmin}_y\ L_\rho(x^{k+1},y,z)$$ $$z^{k+1} = z^k + \rho(x^{k+1} - y^{k+1}).$$

とこれらの最小化問題を分析すると、更新ごとに「単純な形式」の問題を解決するだけでよいことがたとえば、更新の場合 （依存しない項を無視）。$x$$y$$x$

$$x^{k+1} = \mathrm{argmin}_x\ F(x) + \tfrac\rho2\|x - y^k + \rho z^k\|^2$$ $x$

問題 ADMM は同様に導出されますが、更新の中間問題は依然として少し難しいですが、元のものと比較して比較的簡単かもしれません。特におよび（または同等に、および制約）更新は、実装するのがほぼ簡単です。

$$\min_{x,y}\ F(x) + G(y),\quad\text{s.t}\quad Ax+By = c$$ $F(x) = \lambda\|x\|_1$$G(x) = \tfrac12\|Ax-b\|^2$$F(x) = \lambda\|x\|_1$$G(y) = \tfrac12\|y\|^2$$Ax - y = b$