逐次過緩和(SOR)メソッドを最適化するためのヒューリスティックはありますか?


10

私はそれを理解したように、連続オーバー緩和がAのパラメータを選択することによって動作しますと(準)ガウス・ザイデル反復と前のタイムステップでの値の線形結合を使用して...であることを 0ω2

uk+1=(ω)ugsk+1+(1ω)uk

ugsk+1は、任意のタイムステップでこのルールに従って更新された最新の情報が含まれているため、「準」と述べています。(ω=1場合、これはまさにgauss-seidelです)。

いずれにせよ、空間分解能がゼロに近づくにつれて、ポアソン問題の2に近づく(反復が他よりも速く収束する)最適な選択でそれを読みましたω。同様の傾向が他の対称的で対角線的に支配的な問題に存在しますか?つまり、適応最適化スキームに埋め込むことなく最適にオメガを選択する方法はありますか?他の種類の問題に対する他のヒューリスティックはありますか?緩和不足(ω<1)はどのような問題に最適ですか?


まったく問題ではありませんが、Salakhutdinov and Roweis、Adaptive Overrelaxed Bound Optimization Methods 2003、8pを参照してください。(アダプティブスピードアップは1ドルあたりのバンが高いですが、分析するのは不可能です。ここではトピック外です。)
denis

回答:


12

減衰したヤコビ

ADD1A[a,b]ω

BJacobi=IωD1A
[1ωb,1ωa]
ωopt=2a+b
ρopt=12aa+b=baa+b.
abba

連続的な過剰緩和(SOR)

D1AμmaxID1Aμmax<1

ωopt=1+(μmax1+1μmax2)2
ρopt=ωopt1.
ωopt場合、2に近づきます。μmax1

コメント

1950年ではなくなり、ソルバーとして定常反復法を使用することは実際には意味がありません。代わりに、マルチグリッドのスムーザーとして使用します。このコンテキストでは、スペクトルの上限をターゲットにすることのみを考慮します。SORの緩和係数を最適化すると、SORは高周波数の減衰をほとんど生じさせないため(低周波数での収束が改善される代わりに)、通常、SORのに対応する標準のGauss-Seidelを使用する方が適切です。非対称問題および非常に可変的な係数の問題では、緩和不足のSOR()の方が減衰特性が優れている場合があります。ω=1ω<1

両方の固有値の推定はコストがかかりますが、最大の固有値は、数回のクリロフ反復を使用してすばやく推定できます。多項式スムーザー(Jacobiで前処理済み)は、減衰Jacobiの複数の反復よりも効果的であり、構成が容易であるため、推奨されます。多項式平滑化の詳細については、この回答を参照してください。D1A

GMRESなどのクリロフ法の前提条件としてSORを使用しないでください。これは、最適な緩和パラメーターが反復行列すべての固有値を円上に配置する必要があるという観察に基づいています原点を中心に。前処理された演算子のスペクトル

BSOR=1(1ωD+L)1A
(1ωD+L)1A同じ半径の円に固有値がありますが、1を中心とします。条件の悪い演算子の場合、円の半径は1に非常に近いため、GMRESは角度の範囲で原点に近い固有値を表示します。収束のため。実際には、GMRESはSORで事前に調整された場合、特にすでに十分に調整された問題の場合、合理的に収束する可能性がありますが、他の事前調整がより効果的であることがよくあります。

4
私はそれが1950年ではなくなったことに同意します:o)、しかし、文房具反復ソルバーを使用することはもはや意味がないことに同意しません。高次非線形自由表面ソルバー(ポテンシャルフローとオイラー方程式の両方)に基づくエンジニアリングアプリケーションソルバーの定常反復ソルバーを使用して、マルチグリッドの教科書効率を達成できます。効率は(我々の最近のパブがここに発見されただけで達成可能な精度内で前処理付きGMRESクリロフ部分空間法として良いようだったonlinelibrary.wiley.com/doi/10.1002/fld.2675/abstract概念実証として)。
Allan P. Engsig-Karup 2012

1
マルチグリッドのスムーザーとしてGauss-Seidelを使用しています(SORなどのメソッドが属する場所です)。マルチグリッドがうまく機能している場合、外側のクリロフ法も必要ありません(ただし、論文ではこれらの比較を示していません)。マルチグリッドが効率を失い始めたら(例えば、離散化エラーに到達するために5回を超える反復)、マルチグリッドサイクルの周りにクリロフメソッドをラップすることは通常価値があります。
ジェドブラウン

メソッド全体はGSタイプの平滑化を使用したp-マルチグリッドですが、すべての演算子が定数であるため、完全なメソッドは定常反復法として記述できます。これは、マルチグリッドメソッドから構築された前提条件子Mを使用して、事前条件付きのRichardsonメソッドと見なすことができます。分析は行われましたが、まだ公開されていません。実際、この作品はあなたが提案した反対の方向に進んでいます。この作業でのクリロフ法(GMRES)は破棄され、それが高次マルチグリッド法に変わりました。これは、これが同じくらい効率的である(そしてメモリ要件が軽減されている)ことがわかったためです。
Allan P. Engsig-Karup 2012

もちろん、と -multigridの使用は、外部でクリロフ法が使用されているかどうかとは無関係です。もちろん、さまざまな操作の相対コストは、CPUと比較してGPUで異なり、実装間でばらつきがあります。前処理されたリチャードソンは、単なる欠陥修正方法です。ニュートンとピカード(そのように書かれている場合)の非線形法も同様です。他の非線形メソッド(NGMRES、BFGSなど)も履歴を使用するため、非線形性の相対的な強度によってはより適切になる場合があります。php
ジェドブラウン

マルチグリッドスムーザーでは、高次/低次結合を乗法的にする方が好ましい場合があります(アーキテクチャが許す場合)。これにより、「前処理済みのRichardson」の定式化も拡張されます。(私は先週の会議で、本質的にすべてのメソッドをネストされた反復で事前調整されたリチャードソンとして見たいと思った男と話し合いました。これは、ソルバー構成の他のステートメントに対する特別な利点だとは思いません。あなたが、あなたのポイントに関連する議論を思い出しました)。
ジェドブラウン
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.