線形連立方程式を解くためのクリロフ部分空間法の収束の背後にある原理は何ですか？

私が理解しているように、線形連立方程式を解くための反復法には2つの主要なカテゴリがあります。

定常法（Jacobi、Gauss-Seidel、SOR、Multigrid）
クリロフ部分空間法（共役勾配法、GMRESなど）

ほとんどの定常手法は、エラーのフーリエモードを繰り返し緩和（平滑化）することで機能することを理解しています。私が理解しているように、共役勾配法（クリロフ部分空間法）は、番目の残差に適用される行列のべきから最適な探索方向のセットを「ステップ実行」することによって機能します。この原理は、すべてのクリロフ部分空間法に共通ですか？そうでない場合、クリロフ部分空間法の収束の背後にある原則を一般的にどのように特徴付けますか？ $n$

— ポール
ソース

定常法の分析は、単純なモデルの問題によって偏っています。これらはフーリエモードの観点から分析できるためです。また、交互方向の暗黙的（ADI）および他の多くの方法を無視します。ほとんどの「定常法」のポイントは、多くの単純な「近似部分」ソルバーを1つの 反復ソルバーに結合することです。Krylovメソッドのポイントは、特定の定常線形反復の収束を加速（または強制）することです。

— トーマスクリンペル

あなたの質問に答えるために書かれたと思う論文は、イプセンとマイヤー、クリロフ法の背後にあるアイデア、アメールです。数学。月刊105（1998）pp。889-899。それは、ここで入手できる、素晴らしくよく書かれた明確な論文です。

— アンドリューT.バーカー

@ AndrewT.Barker：素晴らしい！アンドリューありがとう！:)

— ポール

回答:

一般に、すべてのクリロフ法は、行列のスペクトルで評価したときに小さい多項式を本質的に探します。特に、クリロフ法の番目の残差（初期推定がゼロ）は、次の形式で記述できます。 $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

ここで、は次数モニック多項式です。 $P_n$ $n$

場合有する、対角化可能である、我々は $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

た場合に、（例えば、対称またはユニタリ）正常で我々は知っている CGが異なる内積を使用して多項式を構築しながら（参照、アーノルディ反復介してGMRES構築ような多項式この回答を詳細）。同様に、BiCGは非対称Lanczosプロセスを介して多項式を構築しますが、チェビシェフ反復はスペクトルに関する事前情報（通常、対称定行列の最大および最小の固有値の推定）を使用します。 $A$ $\kappa(V) = 1.$

クールな例（Trefethen + Bauが動機）として、スペクトルが次のようなマトリックスを考えます。

行列のスペクトル

MATLABでは、次を使用してこれを構築しました。

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

次数すべてのモニック多項式にわたって実際に残差を最小化する多項式を構築するGMRESを考慮すると、候補多項式を調べることで簡単に残差履歴を予測できます $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

私たちの場合、それは与える

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

以下のためののスペクトルにおける。 $z$ $A$

ランダムなRHSでGMRESを実行し、残差履歴をこの多項式と比較すると、それらは非常によく似ているはずです（ため、多項式の候補値はGMRES残差よりも小さくなります）。 $\|b\|_2 > 1$

残存履歴

— リード・アッチョン
ソース

「マトリックスのスペクトル上で小さい」とはどういう意味かを明確にしていただけますか？

— ポール

複素多項式としてと、多項式はのスペクトルを含む複素平面の領域に小さな係数を持ちます。固有値の散布図に重ねられた等高線図を想像してください。どれくらい小さいですか？問題、が正常かどうか、および右側に依存しただし基本的な考え方は、多項式のシーケンスがスペクトル上で次第に小さくなり、答えの残差推定値がなる傾向があることです。

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— -Reid.Atcheson

@ Reid.Atcheson：非常にうまくいっています。書くことをお勧めしますとして、それが正規行列用であることを言及していますか？

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— ジャックポールソン

最適なSORで前処理されたラプラシアンは、この行列例と非常に似たスペクトルを持っています。詳細はこちら：scicomp.stackexchange.com/a/852/119

— ジェドブラウン

厳密に言えば、CGNEは特異値のみに依存するため、スペクトルから独立しています。

— ジェドブラウン

規範について

Reid.Atchesonの回答の補遺として、規範に関するいくつかの問題を明確にしたいと思います。で反復、GMRES多項式見つけ最小にする残差のノルムを $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

仮定ので、SPDでありノルムを誘導し、そう。それから $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

エラーを使用した場所

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

こうして誤差のノルムは、と等価である残差のノルム。共役勾配は、誤差のノルムを最小化するため、低エネルギーモードの解決において比較的正確になります。GMRESが最小化する残差のノルムは、誤差のノルムに似ており、したがって、低エネルギーモードがあまりよく解決されないという意味で弱くなります。低エネルギーモードではさらに弱いため、残差のノルムは本質的に価値がないことに注意してください。 $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

収束境界の鮮明さ

最後に、さまざまなクリロフ法とGMRES収束の微妙さ、特に非正規演算子に関する興味深い文献があります。

Nachtigal、Reddy、およびTrefethen（1992）非対称行列の反復はどれくらい高速ですか？（著者のpdf）は、1つの方法が他のすべての方法よりも大きな要因（少なくともマトリックスサイズの平方根）で勝っているマトリックスの例を示しています。
Embree（1999）GMRES収束限界はどの程度記述的ですか？は、より鋭い境界を与え、非対角化可能行列にも適用される擬似スペクトルに関して洞察に富んだ議論を提供します。
Embree（2003）カメとノウサギはGMRESを再起動します（著者pdf）
Greenbaum、Pták、およびStrakoš（1996）GMRESでは、増加しない収束曲線が可能です。

— ジェド・ブラウン
ソース

あなたはOlavi Nevanlinnaことにより、優れた本をオフに左：books.google.com/...

— マットKnepley

一言で言えば反復法：

静止法は本質的に固定点反復です：を解くには、可逆行列を選択し、固定点を見つけます。これは、Banachの不動点定理によって収束します。さまざまなメソッドは、特定の選択に対応します（たとえば、Jacobi反復の場合、、ここでは対角要素を含む対角行列です）。 $Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
クリロフ法の部分空間法は本質的に投影法にあります：部分空間を選択し、残差が直交するようにを探します。クリロフ法の場合、もちろんは、初期残差に適用される累乗にまたがる空間です。さまざまな方法は、特定の選択に対応します（たとえば、CGの場合は、GMRESの場合は）。 $U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

これは、反復法に関する Youcef Saadの本でうまく説明されています。

— クリスチャン・クラソン
ソース