共役勾配の最悪の場合の複雑さは何ですか？

9

してみましょう、対称正定。ベクトルにを乗算するのに単位の作業が必要だとします。ウェル上にCGアルゴリズムを実行することが知られているの条件数と必要 $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ 、作業単位。 $\mathcal{O} (m\sqrt{\kappa})$

もちろん、ステートメントであるため、これは上限です。また、CGアルゴリズムは、ラッキーな初期推測で常にゼロステップで終了できます。 $\mathcal{O}$

私たちは、RHS及び必要になります初期（不運な）推測が存在する場合は知っていますステップ？別の言い方をすれば、CGの最悪の場合の作業の複雑さは、実際にある $\mathcal{\Theta}(\sqrt{\kappa})$ ？ $\Theta( m \sqrt{\kappa})$

この質問は、プレコンディショナーの利点（低い）がコスト（高い）を上回るかどうかを判断しようとしたときに発生します。現在、おもちゃの問題を扱っており、コンパイルされた言語で何かを実装する前に、より良いアイデアを知りたいと思っています。 $\kappa$ $m$

conjugate-gradient

— フレッド
ソース

5

おそらく、CGアルゴリズムを「逆方向」に実行し、アルゴリズムがすべてのステップを必要とする

直交検索方向のそれぞれに適切なエネルギーを投入することにより、悲観的な初期推測を構築できます。

A

$A$

— origimbo 2016年

9

答えは、確かにイエスです。の収束率限界は、条件数対称正定行列のセットにわたって鋭い。言い換えれば、詳細は何も知りませんの条件数よりもを、CGは本当に取ることができます $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ 収束する反復。大まかに言えば、の固有値が条件数区間内で均一に分布している（つまり、「ペッパー」である）場合、上限が達成されます。 $\sim\sqrt{\kappa}$ $A$ $\kappa$

これは、より厳密なステートメントです。確定的バージョンはより複雑ですが、同じ原則を使用して動作します。

定理（最悪の場合の選択）。任意のランダムな直交行列ピックさせ、であるの実数が均一実際の間隔からサンプリングされた、およびlet であるの実数は、標準的なガウスからIIDをサンプリングしました。定義 $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ その後、限界に、共役勾配に確率1で収束しますの正確溶液ない未満で

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

回の繰り返し。

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

証明。標準証明は、Greenbaumの本やSaadの本など、さまざまな場所で見つかった手法を使用して、最適なチェビシェフ多項式近似に基づいています。

— リチャード・チャン
ソース

1

回答が後で説明するように、境界はシャープではありません。固有値が均一に分布していない場合、cgは定常的な反復ではないため、より速く収束します。したがって、マトリックスについてさらに知る必要があります。

— Guido Kanschat

@GuidoKanschat：良い点です。条件が

すべての

でシャープネスが得られることを明確にするために、ステートメントを修正しました。

A

$A$

κ

$\kappa$

— Richard Zhang

証拠は最小化に帰着

order-の空間における

満たす多項式

。等価的にこれはある

。上記の制限では、

であり、ミニマックス問題の解はチェビシェフ多項式であり、その誤差は

として収束します。

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— リチャード・チャン

0

これを私の元の質問として：を必要とするRHSと最初の（不運な）推測が存在するかどうかを知っていますか？ステップ？ $\Theta(\sqrt{\kappa})$

質問への答えは「いいえ」です。この回答のアイデアは、Guido Kanschatからのコメントに由来しています。

主張：任意の指定された条件番号、行列が存在します。その条件番号に対して、CGアルゴリズムは最大で2つのステップで終了します（任意の指定されたRHSおよび初期推定に対して）。 $k$ $A$

検討ここで。このとき、の条件数はです。ましょう RHSこと、の固有値示すようにここで、 $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

まずケース考える、初期推定は、ゼロです。示すの第二の推定値として CGアルゴリズムから。我々は示し示すによって $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ 。確かに、 $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

$\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

$x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— フレッド
ソース

このうちどれだけが有限精度の演算に対して堅牢ですか？

— origimbo 2016年

@origimbo質問が私に向けられた場合、答えは「わからない」です。

— 2016年