二次多項式の二乗和の系統的研究

固有値分解に実際に反映されている2次形式に似た2次形式の2乗和の体系的な研究が存在するかどうか疑問に思います（これは、実際に大きな意味を持ちます）。質問の重要性に関連するいくつかの例。

主成分分析（PCA）。点の集合与えられるとは、行列として記述された軸の集合、...を見つけます、および説明、...、は、説明できない分散を最小化します。つまり、次の四次最適化問題を解きます $x_i \in \mathbb{R^n}, i=1..k$ $u_1$ $u_m$ $U \in \mathbb{R^n x R^m}$ $\xi_1$ $\xi_k, \xi_{\circ} \in \mathbb{R^m}$

$\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

対称性の魔法により、特異値分解による解が得られます
一般化されたPCA。PCAと同じですが、観測可能な各関連付けられた精度行列ます。問題はより複雑になります $A_i \in \mathbb{R^n x R^n}$ $x_i$

$\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

（すべてのが単位行列である場合、この問題はPCAと同等です、および対角線の場合、PCAに重み付けされます）。この問題は、半定計画（SDP）を介して多項式時間で解決することもできます-解は平方和の形をしているため、NZ Shor（1987）によると、凸問題であり、Parillo論文（2000）は実用的なSDP計算する方法 $A_i$ $A_i = A_j, \forall i,j$ $\square$

SDPアプローチでは、4次多項式は2次2次多項式の2乗の合計として記述されます。したがって、二次形式の二乗の合計としてどのような四次多項式を記述できるかを知ることは非常に重要です（二次関数との類似性から、それらは二次形式と呼ばれます）。ほとんどの文献で、4次多項式の最小値はエンコーディングパーティションの問題であり、が2次多項式の2乗和として表現できない理由はありません。 $p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$ $p$

誰かが二次多項式の二乗の和で表現できる多項式の体系的な研究をしたかどうか疑問に思っています。

ds.algorithms polynomials semidefinite-programming

— ムカトコフ
ソース

私の知る限り、そのような研究はありません。さらに、二乗和（SOS）問題のテクノロジーにいくつかの重要な進歩がなければ、そのような研究の直接的な利点がどのようなものになるかは現在のところ不明です。（私が知っている限り、これらの一般的な四次問題を解決するための最良の方法であるため、SOS接続に焦点を当てます。）これらの問題。私はいくつかの方法で私の主張を実証します。

まず、議論するタイプの最も基本的な問題については、SVD接続はSOSブラックボックスよりもはるかに優れたソルバーを提供します。特に、後者は項を使用してSDPを構築します。ここで、はソース最適化問題の変数の総数（たとえば、すべての未知の行列の要素の総数）です。私がこれらの数値を取得した場所については、パブロパリロの2006年コースの講義10を参照してください。 -spring-2006 / lecture-notes / lecture_10.pdf）。これは決して解決したくないSDPです（実行時間はとして依存し $\binom{n+2}{2}$ $n$ $n$ $n^{6}$ 内部ポイントソルバーを使用していますか？）、特にSVDソルバーのとんでもない速度と比較すると（一貫した表記を使用すると、SVDはます。列、行、およびターゲットランクの数ですが、私の過失をどのように是正しても、それは災難です。この流れに沿って、多項式内の最大次数が2であるSOS問題を解決するために専用のアルゴリズムを設計した場合、これは驚くべきことであり、求める調査には多くの価値があります。 $\mathcal O(n^{1.5})$

次に、これらの問題の基本的な定式化は窓の外にあるため、これらの問題の特定のバリアントがSOSソルバーによって適切に処理されるかどうか疑問に思うかもしれません。重要な例として、NMF（非負行列因数分解）の問題を考えます。ここで、（上記の定式化で）最適化する行列の未知数には、非負のエントリが必要です。残念ながら、これらの問題を解決するために使用される標準のSDP（たとえば、上記のPablo Parriloのメモを参照）を使用する場合、これらの制約を導入する方法はありません。（そして、結果として生じる問題の一部の定式化はNP困難であるため、近似スキームを構築することになります。つまり、これは厄介になる可能性があります。）さらに、この問題の多項式構造を利用していくつかのソルバーを構築する最近の研究があります。保証：参照http://arxiv.org/abs/1111.0952（Arora、Ge、Kannan、およびMoitra）。彼らはいくつかのアルゴリズムを構築しますが、「正確な」NMF問題（正確な因数分解がある場合、つまり、目的値0を与えるもの）を解決する場合、SOSソルバーを使用しません。「セミ-代数的集合」、NMFが引き起こす種類の制約を可能にするはるかに困難な最適化問題ですが、現在は指数実行時間を伴います。

とにかく、要約してさらにいくつかの視点を与えること。SOSはあなたが話している四次問題の唯一のソルバーであるため（つまり、専門の四次ソルバーはないと思います）、これらのソルバーが人々が気にする種類の四次問題に対して、より良い代替手段があることを説明しました。ここでSOSツールを効果的に使用するには、4次のケース（最大2次の多項式）の驚くべきソルバーを構築するか、これらの問題に制約を追加する方法を見つける必要があります。それ以外の場合、SOSの問題への接続は、魅力的ではありますが、あまり役に立ちません。

あなたはまた、あなたが見つけた文献がこの関係を作らないことに驚いているとも述べています。これは主に、実用的なSOSソルバーの新しさ（SOS問題の抽象的な考察がかなり以前に戻っているにもかかわらず）と、私が上で述べたことによるものだと思います。実際、私が最初にSOSソルバーを見つけたとき、それはParloloのメモとペーパーを介していたので、同様に「なぜ彼はPCAタイプの問題について話しているのではないのか」と疑問に思いました。それから私は上記の事実をチェックし、多くの顔をしかめました。パリロ自身が、私が言うことができる限り、論文で言及した参考文献の範囲外でこれらの問題について議論しなかったのも悪い兆候だと思いますこれらの分野での彼の仕事のために：彼はこれらの特定の四分問題について何度も考えたにちがいない。http://arxiv.org/abs/1111.1498）。

— マタス
ソース