直交制約による最適化

私はコンピュータビジョンに取り組んで、目的関数を最適化する必要が午前は、行列の関係と行列直交行列です。 $X$ $X$

m a x i m i z e f (X)

$maximize \ \ f(X)$

s . t X^{T} X = I

$s.t \ \ X^T X=I$ ここで、は単位行列です。私はいくつかの論文を読んでおり、彼らはグラスマニアのマンフィオールド、スティーフェル多様体に対する最適化のような複雑な用語について話しました。基本的に、これらの多様体の勾配は、ユークリッド空間上の通常の勾配とは異なります。

I

$I$

これらの多様体に勾配ベースの方法を実装できるように、読みやすい紙を提案してください。ドキュメントを説明する簡単なMatlabの例がある場合は参考になります

ありがとう

optimization orthogonal

— LanTrầnThị
ソース

目の前の問題について、より詳しい情報を提供していただけますか？現状では、答えるのは非常に広いです。たとえば、ランダムな正方行列生成し、となるSVDを取得して、候補解としてを使用することもできます。

Y

$Y$

Y = U S V^{T}

$Y= USV^T$

U

$U$

X

$X$

— usεr11852

とは何ですか？

f (.)

$f(.)$

— user603

本当にスティーフェル多様体の一般的な扱いが必要ですか、それとも（はるかに単純な）制約に関する情報があれば十分でしょうか？後者の場合、問題は円に沿った移動に減少します。これの最も簡単な例は2次元で、制約は単位円を定義します。ある点での勾配はその点での接線に沿って方向付けられますが、勾配に従うには接線ではなく円に沿って移動する必要があります。このアイデアは一般化します。（cc @usεr11852）

X^{'} X = I

$X^\prime X=I$

— whuber

@whuber：+ 1、cc :: ingをありがとう。私は明らかに同意します。私の例では、単純なランダム検索でも有効な候補解を与えるのに十分であることを示したかっただけです。

— usεr11852

@GeoMattこれはあなたが思うよりも初歩的なものかもしれません。違いはこれです。平面では、は単位円定義された関数です。単位円の近傍のすべての関数に拡張し、ラグランジュ乗数を使用して制約を適用することにより、最適化できます。あるいは、あなたは、単位円をパラメータ化可能性それによって行う、可変の周期関数、制約なしでそれを最適化します。まったく同じ方法が直交行列（およびグラスマン多様体）でも機能します。

f

$f$

x^{2} + y^{2} = 1

$x^2+y^2=1$

(x, y)

$(x,y)$

x^{2} + y^{2} = 1

$x^2+y^2=1$

(x, y) = (\cos (t), \sin (t))

$(x,y)=(\cos(t),\sin(t))$

f

$f$

t

$t$

— whuber

次の論文が役に立ったと思いました。

エデルマン、A。、アリアス、TA、＆スミス、ST（1998）。直交性制約のあるアルゴリズムのジオメトリ。マトリックス分析とアプリケーションに関するSIAMジャーナル、20（2）、303-353。

このペーパーには、微分幾何学と高次の最適化手法に関して、必要以上の情報があります。

ただし、質問に答えるための情報は実際には非常に単純であり、実際にはほとんど方程式2.53と2.70に含まれています。これらは両方ともの形式であり、ここで名目勾配は、現在の解への射影を差し引くことにより、制約付き勾配修正されます。これは、円運動に似たマニホールドの法線であり、修正された勾配がマニホールドに正接することを保証します。

\nabla f = G - X Φ

$\nabla{f}=G-X\Phi$

G = \frac{\partial f}{\partial X}

$G=\frac{\partial{f}}{\partial{X}}$

\nabla f

$\nabla{f}$

Φ

$\Phi$

X

$X$

注：これらの式は、あなたがすでにあると仮定の上にマニホールド、すなわち。したがって、実際には、初期条件が適切であることを確認する必要があります（例：、可能な長方形）。また、蓄積された丸めや切り捨てエラーを時々修正する必要がある場合もあります（SVDを介して、以下の「ZCA」の例を参照）。 $X^TX=I$ $X_0=I$

制約なしの場合、ですが、制約付きの場合、は2つの形式を取ります：これは、「グラスマン多様体」に対応します。ここでの違いは、は回転に影響されないことです。回転および場合、です。 $\Phi=0$ $\Phi$

Φ_{G} = X^{T} G ⟹ \nabla_{G} f = (I - X X^{T}) G

$\Phi_{\mathrm{\small{G}}}=X^TG\implies\nabla_{\mathrm{\small{G}}}{f}=\left(I-XX^T\right)G$

\nabla_{G}

$\nabla_{\mathrm{\small{G}}}$

Q^{T} Q = I

$Q^TQ=I$

X = X_{0} Q

$X=X_0Q$

X X^{T} = X_{0} X_{0}^{T}

$XX^T=X_0X_0^T$

2番目の形式はこれは「スティーフェルは「マニホールド、及びある回転に敏感。

Φ_{S} = G^{T} X ⟹ \nabla_{S} f = G - X G^{T} X

$\Phi_{\mathrm{\small{S}}}=G^TX\implies\nabla_{\mathrm{\small{S}}}{f}=G-XG^TX$

簡単な例は、与えられた行列をで直交行列で近似し、最小二乗誤差を最小化することです。この場合、 制約なしの場合溶液有する我々は確実に関係されていないため、直交しています。 $A\in\mathbb{R}^{n\times{p}}$ $p\leq{n}$ $X$

f [X] = \frac{1}{2} ‖ X - A ‖_{F}^{2} = \frac{1}{2} \sum_{i j} {(X_{i j} - A_{i j})}^{2} ⟹ G = X - A

$f[X]=\tfrac{1}{2}\|X-A\|_F^2=\tfrac{1}{2}\sum_{ij}\left(X_{ij}-A_{ij}\right)^2\implies{G}=X-A$

\nabla f = G

$\nabla{f}=G$

X = A

$X=A$

X

$X$

Grassmannの場合、これは、が「細い」ではなく正方形である場合にのみ解を持つことができます。なぜなら、、にはnullスペースがあるためです。

\nabla_{G} f = (X X^{T} - I) A = 0

$\nabla_{\mathrm{\small{G}}}{f}=\left(XX^T-I\right)A=0$

A

$A$

p < n

$p<n$

X

$X$

Stiefelの場合、あり、場合でも解決できます。

\nabla_{S} f = X A^{T} X - A = 0

$\nabla_{\mathrm{\small{S}}}{f}=XA^TX-A=0$

p < n

$p<n$

これら2つのケース、グラスマンvs.スティーフェルは、本質的に「PCA vs. ZCAホワイトニング」の違いに対応します。SVDに関して、入力行列が場合、解はおよび。PCAソリューションは正方形の入力にのみ適用されます。つまり、は「共分散行列」でなければなりません。ただし、ZCAソリューションは、が「データマトリックス」の場合に使用できます。（これは、より適切には直交プロクラステス問題として知られています。） $A=USV^T$ $X_{\mathrm{\small{G}}}=U$ $X_{\mathrm{\small{S}}}=UV^T$ $X_{\mathrm{\small{G}}}$ $A$ $X_{\mathrm{\small{S}}}$ $A$

— GeoMatt22
ソース

私はないと思うそれから派生が0であるため、出発点は良いです

X_{0} = I

$X_0=I$

— user103828は、