行列制約付きの線形計画法

概観

投げ縄型の問題で驚くほど速く収束することが判明している、乗数の交互方向法（ADMM）のバリアントを試してみるとよいでしょう。戦略は、拡張ラグランジアンで問題を定式化し、二重問題で勾配上昇を行うことです。この特定の正則化問題に特に適しています。メソッドの各反復の滑らかでない部分には、要素ごとに単純に評価できる正確な解があり、滑らかな部分には線形システムの解決が含まれるためです。 $l_1$ $l^1$

この投稿では

問題を一般化するための全体的なADMM公式を導き出し、
各ADMM反復のサブ問題を導出し、それらを状況に特化し、次に
各反復を解く必要がある結果の線形システムを調査し、およびの固有値分解（またはその低ランク近似）の事前計算に基づいて高速ソルバー（または前提条件子）を開発します。 $M^TM$ $YY^T$
いくつかの結論をまとめて要約する

ここでの大きなアイデアのほとんどは、次のすばらしいレビューペーパーで説明されています。

ボイド、スティーブン等。「乗数の交互方向法による分散最適化と統計学習。」Foundations andTrends®in Machine Learning 3.1（2011）：1-122。http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

詳細に入る前に、これはメソッド/アルゴリズムの答えであり、実際の既存のコードの答えではないことに注意してください。このメソッドを使用する場合は、独自の実装をロールする必要があります。

ADMMの公式

一般に、を解決したいとします

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

元の投稿の問題は、適切なベクトル化を行うと、このカテゴリに分類されます。（これは原則としてのみです-実際にはベクトル化を実行する必要がないことがわかります）

代わりに、同等の問題である解くことができますこれにはラグランジアン

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

乗数の交互方向法は、双対問題の勾配上昇を介して、二重問題解きます二重副問題の不正確な交互投影。つまり、反復

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

パラメータおよび（上記のBoyd＆Parikhの論文で説明されています）の特定の穏やかな条件下では、ADMMメソッドは真の解に収束します。収束率は、勾配上昇法の中心にあるため、線形です。多くの場合、1）ヒューリスティックに基づいてパラメータおよびを変更するか、2）Nesterov加速を使用することにより、超線形になるように加速できます。ペナルティパラメータの変更に関する注意事項については、ボイドサーベイペーパーを参照してください。ADMMでNesterovアクセラレーションを使用する場合は、次のペーパーを参照してください。 $\alpha$ $\beta$ $\alpha$ $\beta$

ゴールドスタイン、トム、ブレンダンオドノヒュー、サイモンセッツァー。「高速交互方向最適化手法。」CAMレポート（2012）：12-35。ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

ただし、全体の収束率が線形にすぎない場合でも、問題の場合、このメソッドはスパースパターンを非常にすばやく見つけ、正確な値にゆっくりと収束することが確認されています。スパースパターンを見つけるのが最も難しいため、これは非常に偶然です。現在の研究分野のように思われる正確な理由。誰もがスパースパターンが速く収束するのを目にしますが、なぜそれが起こるのか正確に知っている人はいません。しばらく前に私はメールでボイドとパリクにこれについて尋ねましたが、パリクはそれが制御システムのコンテキストでメソッドを解釈することで説明されるのではないかと考えました。現象のもう1つのヒューリスティックな説明は、次の論文の付録にあります。 $l^1$

ゴールドスタイン、トム、スタンリーオシャー。「L1正則化問題の分割ブレグマン法。」SIAM Journal on Imaging Sciences 2.2（2009）：323-343。ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

もちろん、今の難しさは、特定の状況でおよび更新サブ問題を解決することです。ラグランジアンはで2次なので、更新サブ問題は、線形システムを解くだけで済みます。それは微分不可能であるため、サブ問題は難しいようだが、それは要素ごとに適用することができソリューションのための正確な式があることが判明します！ここで、これらのサブ問題についてさらに詳しく説明し、元の投稿の問題に特定します。 $x$ $z$ $z$ $z$ $x$

更新サブ問題のセットアップ（線形システム） $z$

以下のために更新、我々は $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

これはあなたの問題に特化して、

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

ここで、はフロベニウス（要素ごとの）ノルムを示します。これは2次の最小化問題です次の最適性条件は、とに関する目的関数の偏微分を取り、それらをゼロに設定することで見つけることができます。これは、 $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

元のポスターJustin Solomonのコメントで述べたように、このシステムは対称的であるため、共役勾配法は理想的な行列のない方法です。後のセクションでは、このシステムと、それを解決/事前調整する方法について詳しく説明します。 $Z_J,Z_B$

更新サブ問題の解決（分析的しきい値ソリューション） $x$

ここで、副問題 $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

最初に確認することは、合計が要素分割できることです。

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

したがって、要素に並列に最適化問題を解くことができ、

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

この方程式の一般的な形式は、

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

絶対値関数は最適点をに引き寄せようとしていますが、2次項は最適点を引き寄せようとしています。したがって、真の解は2つの間のセグメントどこかにあり、が増加すると最適点がに引き寄せられ、減少すると最適点が引き寄せられ。 $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

これは凸関数ですが、ゼロでは微分できません。最小化ポイントの条件は、そのポイントでの目的のサブ導関数にゼロが含まれていることです。次の用語は、誘導体有する、絶対値関数は、HAS誘導体のための、セット値劣微分を間隔としてとき、および誘導体のための。したがって、目的関数全体のサブデリバティブ、 $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

このことから、我々はでの目的の劣微分いることがわかり含まれている場合にのみ、。この場合、が最小化です。一方、が最小化子でない場合は、単一値の導関数をゼロに設定して、最小化子を解くことができます。これを行うと、 $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

この結果を、生成する元の質問解決しようとしている実際の問題に再び特化の更新は、単純に $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

元のポスター、ジャスティンソロモンのコメントに記載されています。全体として、更新を行うには、行列のエントリをループして、各エントリについて上記の式を評価する必要があります。 $J,B$

システムのSchur補数 $Z_J,Z_B$

反復の最もコストのかかるステップは、システムを解くことです。

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

そのためには、このシステムに適したソルバー/プレコンディショナーを構築することは、いくらか努力する価値があります。このセクションでは、ベクトル化、Schur補体の形成、Krnoecker積の操作の一部、およびその後のベクトル化解除によってこれを行います。結果として得られるSchur補体系は、わずかに変更されたSylvester方程式です。

以下では、ベクトル化とクロネッカー製品に関する次のアイデンティティが絶対に重要です。

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ 、
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ 、および
$(A \otimes B)^T = A^T \otimes B^T$ 。

これらの恒等式は、行列のサイズと可逆性が方程式の各辺が有効な式になるような場合に常に保持されます。

システムのベクトル化された形式は、

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

または、

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

ここで、とは右側の簡略表記です。ここで、ブロックガウスの消去/シューア補数を実行して、クロネッカー積を凝縮するプロセスで、行列の左下のブロックを消去します。これは、 $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

ベクトル化を解除すると、順番に解かなければならない2つの方程式は、

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

が正方形で上位の場合のSchur補体系の解 $Y,M$

このセクションでは、事前に計算された行列フル SVD を使用し、SylvesterにBartels-Stewartアルゴリズムの修正バージョンを適用することにより、（上記の式1.）のSchur補体系をます。方程式。アルゴリズムは、第2項の余分なを考慮に入れるために標準バージョンからわずかに変更されています。これにより、シルベスターの方程式は完全ではなくなります。一旦最初の式を介して発見され、容易に第2の式から求めることができます。2番目の方程式は、任意の方法で簡単に解くことができます。 $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

この方法では、ADMMプロセスが開始する前に2つの完全なSVDを事前計算するための先行費用が必要ですが、実際のADMM反復に適用するには高速です。この方法は制約行列の完全なSVDを扱うので、それらが平方に近く、上位にある場合に適しています。低ランクSVDを使用するより複雑な方法も可能ですが、後のセクションで説明します。

この方法は次のように発展します。ましょう示す事前計算フル特異値分解となるように右側を凝縮。次いで、第一方程式となり、乗算左と右を、新しい一時的な未知のを設定する直交係数によって、これはさらに

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

これで、対角システム解くことでを見つけることができます $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

見つかっ、を計算し、を知ってについて上記の2番目の方程式を。これは、すでに固有値分解があるため、簡単です。 $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

初期費用は、と 2つの対称正定固有値分解を計算することであり、完全な解法の反復あたりのコストは、次数と同じ数の行列行列乗算によって支配されます。 1 CGサブイテレーションを行うときの大きさ。事前固有値分解のコストが高すぎる場合は、たとえば、ランチョス反復を早期に終了し、最大の固有ベクトルを維持することにより、不正確に計算できます。この方法は、直接ソルバーではなく、CGの優れた前提条件として使用できます。 $M^TM$ $YY^T$

が非常に長方形であるか、ランク近似が低い場合の解法 $M,Y$

ここで、a）入力行列が非常に長方形である、つまり列よりも行数が多い、またはその逆の場合、またはb）ランクの近似が低い場合に、解決または事前調整に注意を向けます。以下の導出には、Woodbury式、Schur補数、およびその他の同様の操作の広範な使用が含まれます。 $Z_J,Z_B$ $M,Y$

Schur補体系から始めます

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

いくつかの操作により、このシステムはより対称的な形式に変換されます

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

ここで、低ランクの近似を取り入れます。LET の低下SVDのまたは低ランク近似のいずれかであり及び（プレースホルダでありません中古）。これらをシステムに代入すると、適用したい次の逆行列が得られます

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

反転するための行列は、アイデンティティの低ランク更新であるため、論理的な戦略は、ウッドベリーの公式

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

ただし、低ランクのピースとは直交していないため、注意が必要です。したがって、Woodburyの公式を適用するために、両方の低ランクの更新を1つの大きな更新に収集します。そうして、ウッドベリーの公式を適用すると、 $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

コアの逆は、ブロックごとの2x2逆公式

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

この投稿はすでに十分に長いので、計算の長い詳細は省きますが、最終的な結果として、必要な部分行列をブロックごとの逆行列に差し込み、すべてを乗算すると、全体の逆行列に対して次の明示的な形式が得られます

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

ここで、

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

この形式では、逆行列を適用し、8つの左行列乗算サンドイッチと右行列乗算サンドイッチを介して項項を見つけることができます。クロネッカー積の合計を適用するための一般的な式は、 $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

最後に行った明示的な逆はすべて対角線なので、「解決」するものは何もないことに注意してください。

線形ソルバーコード

上記の2つのソルバーをMatlab に実装しました。うまくいくようです。ソルバーコードはこちらです。 $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

ソルバーが機能することを確認するためのテストスクリプトはこちらです。また、ソルバーコードの呼び出し例も示します。

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

おわりに

ADMMタイプのメソッドはこのような問題に適していますが、独自の実装をロールする必要があります。メソッドの全体的な構造はかなり単純なので、MATLABのようなものでの実装はそれほど難しくありません。

問題の方法を完全に定義するために指定する必要がある、この投稿に欠けている部分は、ペナルティパラメータです。幸いなことに、パラメーターの値がおかしくない限り、メソッドは一般にかなり堅牢です。Boyd and Parikhの論文には、その参照と同様にペナルティパラメータに関するセクションがありますが、妥当な収束率が得られるまで、パラメータを試してみます。 $\alpha,\beta$

制約行列が良好な低ランク近似を持っている））、緻密、squareish、および高ランク、またはbのいずれかである場合に提示ソルバーの戦略は非常に有効です。将来の作業のトピックになる可能性のあるもう1つの有用なソルバーは、次の場合に最適化されたソルバーです。制約行列はスパースで正方形で高ランクですが、は適切な前提条件が存在します。これは、たとえば、が離散化されたラプラシアンの場合です。 $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— ニック・アルガー
ソース

これを今すぐ実装してください！確認するには、と行列は、最小二乗から来るため、対称/必要がありますよね？これは経験的に正しいようです:-)。では、CGRESはGMRESよりも優れたオプションですか？

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

また、Bのアップデートは間違っていると思いますか？私はこれについてさらに詳しく調べていますが、Bはエネルギー関数に表示されない（項はありません）ので、私はこれが間違っていると考えていますか？ありがとう！

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[どちらかと言えば、 ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

すごい！と独自の式を入力した後（おそらく投稿したものに近い/同等ですが、何かが機能していません）、これはIRLSメソッドよりもはるかに優れています。ありがとう！

J

$J$

B

$B$

— Justin Solomon

素晴らしいニュース。ここでの貢献が実際の結果につながるときを見るのはとても良いです。

— マイケル・グラント

おそらく、線形計画法に行列のない方法を使用したいでしょう。特に線形計画法に特化した方法は知りませんが、二次計画法と一般的な非線形計画法のために、行列のない内点法が存在します。二次プログラムの場合は、二次形式係数がすべてゼロである問題に正確に対応します。（問題の構造に正確な線形解法を使用するメソッドを調整することもできますが、そのような特注の実装は価値がない場合があり、行列のないメソッドを使用するよりも実用的ではありません。）

内点法の行列のないバリアントを実装する商用最適化パッケージについては知りません。IPOPTは、非線形プログラミングのための行列なしの内点法を実装することになっていますが、私はそれを使用できるようにするAPI呼び出しを追跡できませんでした。

CVXに加えて、おそらくGAMSまたはAMPLを使用してマトリックスを1回入力し、そのマトリックスを使用するようにモデリング言語で制約を設定できます。ただし、CVX、GAMS、AMPLのソルバーバックエンドで使用されるメソッドは、行列のないソルバーを使用しません。すべてが標準形式の線形プログラムの完全な係数行列を必要としますが、これは巨大になります（行列のクロネッカー積になります）。おそらく、モデリング言語を使用して上記の形式で線形プログラムを入力すると、モデリング言語がデータをバックエンドソルバーで使用できる形式に変換します。このフォームには巨大な行列が必要であり、同じ種類のエラーが発生するのではないかと思います（十分なメモリのあるマシンで実行しない限り）。

— ジェフオックスベリー
ソース

私はすべての正しいことを試みたように見えます！最初にCVXを試しましたが、失敗したため、IPOPTに切り替えました。しかし、IPOPTにも同じ問題がありました。私はそれがマトリックスフリーのオプションを持っていることを知らなかったので、私がそれを理解できるかどうか見てみましょう。

— ジャスティンソロモン

GAMS / AMPLが問題を解決するかどうかわかりません。ソルバーが正しいことを行うのに役立つ任意の形式で問題をコード化できてうれしいですが、裏で言っているように、クロネッカー製品を使用しても機能しません。

— ジャスティンソロモン

ジェフリー・アーヴィングが言及したこれらのSVDを購入できますか？可能であれば、繰り返し再重み付けされた最小二乗（IRLS）アプローチを検討します。このアプローチは、の形式の問題を解決しますここで、は重み行列です。

\begin{array}{ll} minimize & \sum_{i j} W_{i j} J_{i j}^{2} \\ subject to & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

反復は、すべて1の行列として始まります。これにより、最適なます。反復はで進みますここで、ゼロによる除算を防ぐ小さな定数です。私は収束基準について完全に確信はありませんが、おそらく私が上記で提供したウィキペディアのリンクがあなたに参照を与えることができます。 $W^{(0)}$ $J^{(0)}$

W_{i j}^{(k + 1)} = {| max {J_{i j}^{(k)}, ϵ} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

また、平滑化された1次法を検討することもできます。私が共同執筆したTFOCSは、「スムーズコニックデュアル」（SCD）ソルバーを使用してこれを処理できますが、使いやすさは劣ります。

マトリックスフリーの内点法を試したい場合は、Jacek Gondzioの著作を読んでください。

編集：うーん、IRLSがSVDを使用してソリューションを計算できない場合があるかもしれません。もしそうなら、私は他の選択肢の1つにフォールバックします。

— マイケル・グラント
ソース

ここでSVDを使用できるかどうかはわかりませんが、IRLSは素晴らしいアイデアです。速度はメモリほど問題ではありません。恥ずかしいことに、私は関連する研究に数か月前にIRLSを使用しましたが、それはうまくいきました（これまで試したことがないので自分を蹴りました！）。IRLSのSVDがなくても、システム全体を必要としないCGのような線形ソルバーを使用してそれを実行できるはずです。実際、CGはおそらく、を調整する前に、かなり緩い制約で停止することができます。ADMMアプローチについても検討していますが、私はその経験があまりありません。

W_{i j}

$W_{ij}$

— Justin Solomon

はい、ADMMも素晴らしいです。私は実際にYを完全に削除することを提案するセクションを書きましたが、後でが正方ではないことを知りました。

M

$M$

— マイケル・グラント

IRLS戦略を実装しました-収束しますが、解く必要がある線形システムは広範囲ののおかげで悪条件であるため、数値的にはあまりうまくいきません。GMRESを使用してシステムを解く。次にADMMを試します！

w

$w$

— Justin Solomon

CVXを使用してみてください。CVXを使用すると、記述した形式で正確にコーディングできます（つまり、をベクトルではなく行列として）。おそらく、LPソルバーの代わりに、より一般的な凸型ソルバーを使用して解決されますが、凸型ソルバーが成功した場合は、気にしないと思います。 $X$

別の可能性：制約行列をスパース行列として格納できるソルバーを使用します。これは、必要なメモリよりもはるかに多くのメモリを必要としますが、それらを密行列として保存した場合よりははるかに少なくなります。CVXではkron、スパースマトリックスを使用すると、これを試すのは簡単です。

— デビッド・ケチェソン
ソース

Pythonは何らかの理由でMATLABよりも便利になる場合は、もありますcvxpyそれはかなりとしてCVXように研磨されていないが。

— k20 2014

私の疑いは、このアプローチは表面的には機能し、CVXモデリング言語が入力データをバックエンドソルバー（線形プログラム、2次プログラム、2次コーンプログラム、半定型プログラム、および幾何学プログラム）。私の答えでその理由を説明します。Gurobiバックエンドは（他のタイプの中でも）最高のLPソルバーであるため、そのアルゴリズムでCVXを使用することは、コンパイルされた言語APIからCVXを呼び出すことを除いて、おそらく実装の面で実行できる最高の方法です。

— Geoff Oxberry、2014

Geoffが言うように、ここではモデリングレイヤーは役に立ちません。結果のLPには、標準的な汎用ソルバーのデータが繰り返されます。これを回避するには、使用する必要があります、つまり、基本的に、残留帰国に基づいており、ソルバーOracleベースのソルバーを（開発）与えられた値のために、および/またはいくつかを適切なカットし、代わりにその説明で作業します。

M J + B Y - X

$MJ+BY-X$

J, Y

$J,Y$

— JohanLöfberg、2014

はい、ジェフが言及している問題を正確に経験しています。実際、私は最初の推測にCVXを使用しました。私はGurobiを直接呼び出すことも試みましたが、それを行うと考えることができる唯一の方法は、同じ展開問題を実行することです。

— ジャスティンソロモン

自分でロールする必要があると思います

— JohanLöfberg