共役勾配がGMRESよりもはるかにうまく機能する問題

17

共役勾配がGMRESメソッドよりもはるかに優れている場合に興味があります。

一般に、CGは多くのSPD（対称正定値）の場合に望ましい選択であり、必要なストレージが少なく、CGの収束率の理論的限界がそのGMRESの2倍であるためです。そのような率が実際に観察される問題はありますか？GMRESが同じ数のspmv（スパースマトリックスベクトル乗算）でCGより優れているか、CGに匹敵する場合の特性はありますか。

linear-solver conjugate-gradient gmres

— piyush_sao
ソース

8

CGの利点の $l^2$ は、残差多項式の離散ノルムを最小化しないことです（GMRESの機能）。それは代わりにマトリックス誘導ノルムを最小化するものであり、多くの場合、このマトリックス誘導ノルムは物理的問題の離散化のエネルギーノルムに非常に近いものになります。物理学から。

GMRESで実際にこの種の効果を達成できるのは、質量行列のコレスキー分解を実行するのに費用がかかりすぎない場合、内積を希望する内積に強制することができます。

そして、CGがGMRESと非常に異なるパフォーマンスを期待する必要がある場合は、ノルムの等価性に含まれる定数が非常に異なる場合です。これは、実際には、GMRESで使用される離散 $l^2$ ノルムがすべての自由度を等しいものとして扱う高次のスペクトルガラーキン法で当てはまります。そのノルムと、質量行列によって与えられる連続的なノルムとの間のノルム等価定数は $L^2$ 非常に大きくなる可能性があります。

— リード・アッチョン
ソース

ここで、高次の方法とCG、GMRES、およびGMRES + Choleskyトリックの収束履歴の例を示したいと思いました。しかし、残念ながら、2次問題のために手元にある唯一のコードは非対称多様性のDGです。該当せず、これを実際に見てみたいと思います。

— -Reid.Atcheson

3

あなたの答えは重要なものに到達すると思いますが、明確にして欲しいと思います。特に、質問は純粋な線形代数の質問であり、あなたの答えは、数値PDEからの物理的ノルムと質量行列などについて語っています。同じクリロフ空間内のさまざまな基準を最小化すると、さまざまな反復がどのように発生するかについて、正確に言えますか？

— アンドリューT.バーカー

数値の例は別として、異なるノルムがどのように実質的に異なる答えをもたらすかを説明する慎重な理論的研究がまだあるとは思わない。私が思う問題は、結果が漸近線を中心に展開することであり、固定線形システムの場合、理論上の結果は同一のモジュロ定数係数になります。そこにいくつかの理論的研究がある場合、私はそれらを見てみたいのですが、私の部門の数値線形代数の専門家の何人かに尋ねたところ、異なる規範で何が起こるかを示す正確な理論的分析はまだないようです。

— -Reid.Atcheson

4

一般に、SPDマトリックスのGMRESとCGの間に大きな違いはないと思います。

レッツは、私たちが解決していると言うと対称正定と開始推測 CGとGMRESとし、生成する反復処理し、それらを呼び出すと。両方の反復法は、同じクリロフ空間からを構築し。彼らはわずかに異なる方法でそうします。 $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

CGは、によって誘導されるエネルギーノルムの誤差を最小化することによって特徴付けられ、 $e_k^c = x - x_k^c$ $A$

（ A e_{k}^{c} 、 e_{k}^{c} ） = （ A （ バツ - {バツ}_{k}^{c} ） 、 バツ - {バツ}_{k}^{c} ） = \underset{y \in K}{分} （ A （ バツ - y ） 、 バツ - y ） 。

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

代わりGMRES最小限の残留、離散にそう、ノルムように $r_k = b - A x^g_k$ $\ell^2$

（ r_{k} 、 r_{k} ） = （ b - A {バツ}_{k}^{g} 、 b - A {バツ}_{k}^{g} ） = \underset{y \in K}{分} （ b - A y 、 b - A y ） 。

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$ 今誤差方程式用い

我々でき最小限として、書き込みGMRES

これはSPD行列

のみ当てはまることを強調したいと思います。次に、

に関する誤差を最小化するCGがあります

A e_{k} = r_{k}

$A e_k = r_k$

（ r_{k} 、 r_{k} ） = （ A e_{k}^{g} 、 A e_{k}^{g} ） = （ A^{2} e_{k}^{g} 、 e_{k}^{g} ）

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$

ノルムに関する誤差を最小化するノルムとGMRES 。直感的に非常に異なる振る舞いをさせたい場合は、これら2つの標準が非常に異なるような

が必要になります。ただし、SPD

これらの規範はまったく同じように動作します。

A^{2}

$A^2$

A

$A$

A

$A$

クリロフ空間との最初の反復では、さらに多くの特定を取得するために、、CG及びGMRES両方の形式の近似を構築します。CGはを選択します $K_1 = \{ b \}$ $x_1 = \alpha b$ およびGMRESはを選択します

α = \frac{（ b 、 b ）}{（ A b 、 b ）}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

場合

エントリを持つ対角である

と

次にとして

最初のCGステップは、第1 GMRESとして2倍になりますステップ。おそらく

と

構築できます

α = \frac{（ A b 、 b ）}{（ A^{2} b 、 b ）} 。

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ そのため、この2つの違いの要素は反復を通して継続しますが、それよりも悪化することはないでしょう。

— アンドリュー・T・バーカー
ソース

2

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$

ϵ^{- 1}

$\epsilon^{-1}$

3

一つのことは、CGを適用できるところならどこでもGMRESは決して使用されないということです。これら2つを比較することは理にかなっていないと思います。SPDマトリックスの場合、ストレージ要件と上記の理由から、CGが間違いなく勝者です。興味深い質問は、CGの拡張を見つけることです。これは、CGを適用できない問題に適用できます。GMRESのように線形に増加するメモリを必要としないBiCG-stabのようなメソッドがありますが、収束はGMRESほどではありません（GMRESを再起動しても）。

— user1964178
ソース

2

メモリの節約、安定性、および収束の面でGMRESとBiCG間のギャップを埋めるIDRスキームがあります。 ta.twi.tudelft.nl/nw/users/gijzen/IDR.html 私はわからないんだけど、私はGMRESことに同意しますCGを使用できる場合は使用しないでください。エネルギーノルムを誘導する行列のコレスキー因数分解を行うことができる場合、対称ランチョス反復にそれを入力して、CGに非常に近い動作をする3項反復解を取得できます。もちろん、CGは簡単なオプションですが、オプションは利用可能です:)

— Reid.Atcheson

2

たとえば、Krylovスムーザーを使用する場合、GMRESは、周波数が高くなる傾向のあるより大きな固有値をターゲットとする、より弱いノルムを使用するため、好ましいと思われます。

— ジェドブラウン