行列エントロピーの制約付き最適化問題

（シャノン）マトリックスエントロピーに制約付き最適化問題があります。行列は、形式のランク1行列の合計として記述できます。 $\mathtt{(sum(entr(eig(A))))}$ $A$ ここで、は所定の正規化ベクトルです。ランク1行列の係数は、最適化の対象となる未知数であり、それらはゼロより大きく、合計が1でなければなりません。 $[v_i\,v_i^T]$ $v_i$

CVXのような構文では、問題は次のようになります。与えられた変数 $\mathtt{c(n)}$

minimize s u m (e n t r (e i g (A)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

。

\begin{aligned} subject to A & = \sum c_{i} v_{i} v_{i}^{T} \\ \sum c_{i} & = 1 \\ c_{i} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$

これを効率的に解決する方法についてのアイデアはありますか？私はそれがおそらく半確定プログラミング（SDP）問題としてキャストできないことをすでに知っています。

optimization entropy

— 乾く
ソース

編集：同僚は、エントロピー関数に特化した場合、以下の私の方法は次の論文の一般的な方法のインスタンスであると私に知らせました

Overton、Michael L.、およびRobert S. Womersley。「対称行列の固有値を最適化するための2次導関数。」SIAM Journal on Matrix Analysis and Applications 16.3（1995）：697-718。http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

概観

この投稿では、最適化問題が適切に提起されており、不等式制約が解で無効であることを示し、次にエントロピー関数の1次および2次フレシェ微分を計算し、等価制約が削除された問題に関するニュートン法を提案します。最後に、Matlabコードと数値結果が表示されます。

最適化問題の適切性

最初に、正定行列の合計は正定であるため、場合、ランク1行列の合計は正定です。のセットがフルランクの場合、固有値は正なので、固有値の対数をとることができます。したがって、目的関数は実行可能セットの内部で明確に定義されています。 $c_i > 0$

A (c) := \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

第二に、任意の $c_i \rightarrow 0$ 、最小の固有値のでランクを失いゼロになります。すなわち、のような。派生以来として吹くまで、1は、実現可能な集合の境界に近づいて連続的に良くポイントのシーケンスを持つことはできません。したがって、問題は明確に定義されており、さらに不等式制約 $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ 非アクティブです。 $c_i \ge 0$

エントロピー関数のフレシェ微分

実行可能領域の内部では、エントロピー関数はどこでもフレシェ微分可能であり、固有値が繰り返されない場合はどこでも2倍フレシェ微分可能です。ニュートン法を実行するには、行列の固有値に依存する行列エントロピーの導関数を計算する必要があります。これには、行列の変化に関する行列の固有値分解の感度を計算する必要があります。

リコール行列の場合との固有値分解を伴うであり、元の行列の変化に対する固有値行列の誘導体、 $A$ $A = U \Lambda U^T$ および誘導体固有ベクトル行列は、ここで、はアダマール積で、係数行列

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

$AU=\Lambda U$ $d\Lambda$

\begin{aligned} d^{2} Λ & = d (I \circ (U^{T} d A_{1} U)) \\ = I \circ (d U_{2}^{T} d A_{1} U + U^{T} d A_{1} d U_{2}) \\ = 2 I \circ (d U_{2}^{T} d A_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

等式制約の排除

制約を取り除くことができます $\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = 1 - \sum_{i = 1}^{N - 1} c_{i} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

d f = d C_{1}^{T} M^{T} [I \circ (V^{T} U B U^{T} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

d d f = d C_{1}^{T} M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

M = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & \dots & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

B_{a} = d i a g (1 + \log λ_{1}, 1 + \log λ_{2}, \dots, 1 + \log λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

B_{b} = d i a g (\frac{d_{2} λ_{1}}{λ_{1}}, \dots, \frac{d_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

制約を取り除いた後のニュートンの方法

不等式制約が非アクティブであるため、実行可能なセットから始めて、内部最大値への2次収束のために信頼領域またはラインサーチの不正確なニュートンCGを実行します。

方法は次のとおりです（trust-region / line検索の詳細は含まれません）。

で始まる $\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
グラデーションを作成する $G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
後藤2。

結果

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = randn（N、N）;
>> for k = 1：NV（：、k）= V（：、k）/ norm（V（：、k））; 終わり
>> maxEntropyMatrix（V）;
ニュートン反復= 1、norm（grad f）= 0.67748
ニュートン反復= 2、norm（grad f）= 0.03644
ニュートン反復= 3、norm（grad f）= 0.0012167
ニュートン反復= 4、norm（grad f）= 1.3239e-06
ニュートン反復= 5、norm（grad f）= 7.7114e-13

計算された最適点が実際に最大であることを確認するために、最適点がランダムに摂動されたときのエントロピーの変化のグラフを次に示します。すべての摂動はエントロピーを減少させます。ここに画像の説明を入力してください

Matlabコード

エントロピーを最小化するオールインワン機能（この投稿に新しく追加）：https : //github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— ニック・アルガー
ソース

どうもありがとうございました！私は簡単なグラデーションの上り坂で自分で解決しましたが、これはおそらくより信頼性があります。vがmatlabファイルでフルランクでなければならないという事実は、私を悩ます唯一のものです。

— ドリス

@NickAlger提供されたリンクは機能していません。見てもらうようにお願いできますか？

— クリエイター

@クリエイターが投稿でリンクを更新しました！github.com/NickAlger/various_scripts/blob/master/…–

— Nick Alger、

@NickAlgerアルゴリズムが操作できる行列に制約はありますか？このアルゴリズムは、複雑な要素を含む行列に適していますか？私の場合、マトリックスにNanがあるため、しばらくするとSVDが失敗します。

— クリエイター

複素数は問題にならないと思います。この方法の1つの制限は、最適解が固有値を繰り返すことはできないということです。これは、ここで何が起こっているのかと推測しています。この場合、メソッドはC方程式でゼロで除算されるものに収束します。入力を少しランダムに摂動して、それが役立つかどうかを確認できます。上で参照したOvertonの論文でこれを回避する方法はありますが、私のコードはそれほど進んでいません。

— Nick Alger