PCA最適化は凸型ですか？

主成分分析（PCA）の目的関数は、セクション2.12を参照してください（L2ノルムに再構成誤差を最小化され、ここで。別のビューが投影上の分散を最大化しようとしている我々はまた、ここでは優れた記事があります。PCAの目的関数とは何ですか？）。

私の質問は、PCA最適化は凸ですか？（ここでいくつかの議論を見つけましたが、CVで誰かがここで素晴らしい証拠を提供できることを願っています）。

いいえ、PCAの通常の製剤があるではない凸の問題。 しかし、それらは凸最適化問題に変換できます。

この洞察と楽しみは、単に答えを得るのではなく、変換のシーケンスを追跡して視覚化することです。それは目的地ではなく旅にあります。この旅の主なステップは

1. 目的関数の簡単な式を取得します。

2. 凸ではない領域を、ある領域に拡大します。

3. 凸状ではない対物レンズを、次のように変更します。 最適値に到達するポイント明らかに変更しないます。

よく見ると、SVDとラグランジュの乗数が潜んでいるのがわかります。

---

PCAの標準的な分散最大化定式化（または少なくともその重要なステップ）は次のとおりです。

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

ここで、$n\times n$行列$\mathbb A$は、データ（通常は、その平方和と積の行列、その共分散行列、またはその相関行列）から構築された対称な正半有限行列です。

（同様に、制約のない目標を最大化しようとする場合があります。これは厄介な表現であるだけでなく、二次関数ではなくなりますが、特殊なケースをグラフ化すると、凸関数ではないことがすぐにわかります、のいずれか。通常、1つは、この関数が不変であるrescalings下で観察X → λ X、次に拘束製剤にそれを減少させます（* ））。$x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

最適化の問題は、次のように抽象的に定式化できます。

少なくとも一つの検索の関数を作ることfを：X → Rできるだけ大きく。$x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

最適化の問題は、2つの別個の特性を享受している場合に凸になることを思い出してください。

1. ドメイン 凸状です。$\mathcal{X}\subset\mathbb{R}^n$ これは多くの方法で定式化できます。一つは、そのたびにとY ∈ Xと0 ≤ λ ≤ 1、λ X + （1 - λ ）Y ∈ Xも。幾何学的：線分セグメントの2つの端点がXにあるときは常に、セグメント全体がXにあります。$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. 関数 凸状です。$f$ これも多くの方法で定式化できます。一つは、そのたびにとY ∈ Xと0 ≤ λ ≤ 1、F （λ X + （1 - λ ）Y ）≥ λ F （X ）+ （1 - λ ）F （Y ）。（Xが必要でした$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$いかなる意味をなすために、この条件のために、凸状に）幾何学：たび内の任意の線分であるXのグラフFこのセグメントに限定されるよう（）接続上またはセグメント上にある（X 、fは（X ））及び（Y 、F （Y ））におけるR N + 1。$\bar{xy}$$\mathcal X$$f$$(x,f(x))$$(y,f(y))$$\mathbb{R}^{n+1}$

   凸関数の原型はどこでも局所的、非正主係数を有する放物線である：任意の線分上には、フォーム内で発現させることができると≤ $y\to a y^2 + b y + c$$a \le 0.$

困難を有することであるXは、単位が球であるSをN - 1 ⊂ R nは明らかに凸状ではありません、。$(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ ただし、より小さいベクトルを含めることでこの問題を修正できます。我々は縮尺ときからである係数によりλ、fが乗算されるλ 2。場合0 < X '、X < 1、我々は拡張することができ、Xまでの単位長さにを乗じてλ = 1 / $x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$、それによって増加Fはなく、単位球内に留まるDN={X∈ R N|X'X≤1}。 私たちはそのため定式ましょう（*）として$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

その領域はあり、明らかに凸であるため、途中にいます。fのグラフの凸性を考慮することは残っています。$\mathcal{X}=D^n$$f$

問題（∗ ∗ ）について考える良い方法は、たとえ対応する計算を実行するつもりがないとしても、スペクトル定理の観点からです。$(**)$ それは、直交変換によって、Aが対角であるR nの少なくとも1つの基底を見つけることができると言います：つまり、$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

ここで、すべての非対角要素はゼロです。このようなPの選択は、Aについてまったく何も変更しないと考えることができますが、それを記述する方法を変更するだけです。視点を回転させると、関数x → x ′ A x（これのレベル超曲面常に楕円体でした）座標軸に合わせます。$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

以来、正半正定値である、すべての対角エントリΣは非負でなければなりません。 我々はさらに、（ちょうど別の直交変換であり、従ってに吸収することができる軸を置換することができるP）ことを保証するために、σ 1 ≥ σ 2 ≥ ⋯ ≥ σ N ≥ $\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

我々が許可すれば新たな座標であるX（伴うY = Pの X、関数）fはあります$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

This function is decidedly not convex! Its graph looks like part of a hyperparaboloid: at every point in the interior of $\mathcal X$, the fact that all the $\sigma_i$ are nonnegative makes it curl upward rather than downward.

However, we can turn $(**)$ into a convex problem with one very useful technique. Knowing that the maximum will occur where $x^\prime x = 1$, let's subtract the constant $\sigma_1$ from $f$, at least for points on the boundary of $\mathcal{X}$. That will not change the locations of any points on the boundary at which $f$ is optimized, because it lowers all the values of $f$ on the boundary by the same value $\sigma_1$. This suggests examining the function

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

This indeed subtracts the constant $\sigma_1$ from $f$ at boundary points, and subtracts smaller values at interior points. This will assure that $g$, compared to $f$, has no new global maxima on the interior of $\mathcal X$.

Let's examine what has happened with this sleight-of-hand of replacing $-\sigma_1$ by $-\sigma_1 y^\prime y$. Because $\mathbb P$ is orthogonal, $y^\prime y = x^\prime x$. (That's practically the definition of an orthogonal transformation.) Therefore, in terms of the $x$ coordinates, $g$ can be written

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Because $\sigma_1 \ge \sigma_i$ for all $i$, each of the coefficients is zero or negative. Consequently, (a) $g$ is convex and (b) $g$ is optimized when $x_2=x_3=\cdots=x_n=0$. ($x^\prime x=1$ then implies $x_1=\pm 1$ and the optimum is attained when $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$, which is--up to sign--the first column of $\mathbb P$.)

Let's recapitulate the logic. Because $g$ is optimized on the boundary $\partial D^n=S^{n-1}$ where $y^\prime y = 1$, because $f$ differs from $g$ merely by the constant $\sigma_1$ on that boundary, and because the values of $g$ are even closer to the values of $f$ on the interior of $D^n$, the maxima of $f$ must coincide with the maxima of $g$.

No.

Rank $k$ PCA of matrix $M$ can be formulated as

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

($\|\cdot\|_F$ is Frobenius norm). For derivation see Eckart-Young theorem.

Though the norm is convex, the set over which it is optimized is nonconvex.

---

A convex relaxation of PCA's problem is called Convex Low Rank Approximation

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

($\|\cdot\|_*$ is nuclear norm. it's convex relaxation of rank - just like $\|\cdot\|_1$ is convex relaxation of number of nonzero elements for vectors)

You can see Statistical Learning with Sparsity, ch 6 (matrix decompositions) for details.

If you're interested in more general problems and how they relate to convexity, see Generalized Low Rank Models.

Disclaimer: The previous answers do a pretty good job of explaining how PCA in its original formulation is non-convex but can be converted to a convex optimization problem. My answer is only meant for those poor souls (such as me) who are not so familiar with the jargon of Unit Spheres and SVDs - which is, btw, good to know.

My source is this lecture notes by Prof. Tibshirani

For an optimization problem to be solved with convex optimization techniques, there are two prerequisites.

1. The objective function has to be convex.
2. The constraint functions should also be convex.

Most formulations of PCA involve a constraint on the rank of a matrix.

In these type of PCA formulations, condition 2 is violated. Because, the constraint that $rank(X) = k,$ is not convex. For example, let $J_{11}$, $J_{22}$ be 2 × 2 zero matrices with a single 1 in the upper left corner and lower right corner respectively. Then, each of these have rank 1, but their average has rank 2.