直交変換がガウス消去法よりも優れているのはいつですか？

22

知っているように、線形方程式のシステムの直交変換法（Givens回転とHousholder反射）は、ガウス消去法よりも高価ですが、理論的には、システムの条件数を変えないという意味で、より優れた安定性特性を持っています。ただし、部分的なピボットを伴うガウス消去法によって損なわれたマトリックスの学術的な例は1つだけ知っています。そして、実際にこの種の行動に出会う可能性は非常に低いという一般的な意見があります（この講義ノート[pdf]を参照）。

それでは、トピックに関する答えをどこで探しますか？並列実装？更新しますか？..

linear-algebra reference-request

— ファレイチク
ソース

24

正確さ

TrefethenとSchreiberが優れた論文、Gaussian EliminationのAverage-case Stabilityを書きました。その結論のいくつかを以下に示します。

「列ピボットの有無にかかわらずQR分解の場合、残差行列の平均最大要素はですが、ガウス消去ではです。この比較により、ガウス消去はやや不安定であることがわかります。しかし、不安定性は低精度で解決された非常に大きなマトリックスの問題でのみ検出可能です。ほとんどの実際的な問題では、ガウス消去法は平均で非常に安定しています。」（エンファシス鉱山） $O(n^{1/2})$ $O(n)$
「ガウス消去法の最初の数ステップの後、残りの行列要素は、そのように始まったかどうかに関係なく、ほぼ正規分布します。」

あなたが言及した最悪の場合のマトリックスの議論を含めて、私がここで捉えることができない論文にははるかに多くがあるので、それを読むことを強くお勧めします。

性能

正方実数行列の場合、部分ピボットのLUには約フロップが必要ですが、ハウスホルダーベースのQRには約フロップが必要です。したがって、適度に大きい正方行列の場合、QR分解はLU分解の約2倍の費用しかかかりません。 $2/3 n^3$ $4/3 n^3$

以下のため行列、部分ピボットと、LUが必要 QRのに対して、プ（静止LU分解の二倍です）。ただし、アプリケーションで非常に高いスキニーマトリックス（）を生成することは驚くほど一般的であり、Demmel et al。素敵な紙、有する通信回避平行とシーケンシャルQR分解（セクション4）のみが必要巧妙なアルゴリズムについて説明し、ときに送信されるメッセージをプロセッサが使用されている対、伝統的なアプローチのメッセージを。費用は $m \times n$ $m \ge n$ $mn^2 - n^3/3$ $2mn^2 - 2n^3/3$ $m \gg n$ $\log p$ $p$ $n \log p$ $O(n^3 \log p)$ 余分なフロップが実行されますが、が非常に小さい、より多くのメッセージを送信するレイテンシコストよりも優先されます（少なくとも1つのQR分解のみを実行する必要がある場合）。 $n$

— ジャック・ポールソン
ソース

10

科学計算で頻繁に発生する線形最小二乗問題について誰も言及していないことに驚いています。ガウス消去法を使用する場合は、次のような正規方程式を作成して解決する必要があります。

A^{T} A バツ = A^{T} b 、

$A^{T}Ax = A^{T}b,$

ここで、は独立変数の観測値に対応するデータポイントの行列、は検出されるパラメーターのベクトル、は従属変数の観測値に対応するデータポイントのベクトルです。 $A$ $x$ $b$

Jack Poulsonが頻繁に指摘しているように、の条件数はの条件数の2乗であるため、正規方程式は悲惨なほど悪い条件になります。このような場合、QRおよびSVDベースのアプローチは遅くなりますが、より正確な結果が得られます。 $A^{T}A$ $A$

— ジェフ・オックスベリー
ソース

2

あなたが不要な考慮すればUpvotedしかし、QRは実際にLUと同等にする必要があり

を形成するのに必要な操作を

（QRのみ必要と

以上LUよりもフロップ）。ただし、SVDのアプローチは依然として低速です（コストは約

と考えることができます）。

n^{3}

$n^3$

A^{H} A

$A^H A$

2 / 3 n^{3}

$2/3 n^3$

6 n^{3}

$6n^3$

— ジャックポールソン

1

直交変換の使用によって保証される安定性に加えて、SVDの大きな利点は、最大特異値と最小特異値の比が（2ノルム）条件数であるため、分解が独自の条件チェックを提供することです。他の分解では、条件推定器（Hager-Highamなど）の使用は、分解ほど適切ではありませんが、ある程度「タックオン」です。

— JM

1

@JackPoulson好奇心から、SVDのフロップカウントのリファレンスはありますか？Golub＆Van Loan（p。254第3版）のクイックルックからわかることから、SVDを使用して最小二乗問題を解くための定数は高いように見えますが、誤解される可能性があります。前もって感謝します。

— -OscarB

1

@OscarB：これは私の頭の上の非常に大雑把な数値で、完全なSVDを形成するよりも低い（逆変換コストを回避できるため）。

作業を2重対角の形に還元するために必要とされる（例えば、

）、作業の一部量は、言う

、2重対角SVDのために必要とされる（

）、その後

8 / 3 n^{3}

$8/3 n^3$

A = F B G^{H}

$A=FBG^H$

C

$C$

B = U Σ V^{H}

$B=U\Sigma V^H$

、

作業が必要です。したがって、それはすべて

がどれだけ大きいかという問題です...ここでMRRRが機能する場合は

になりますが、それまではキュービックで問題に依存します。

x := (G (V (i n v (Σ) (U^{H} (F^{H} b)))))

$x := (G (V (\mathrm{inv}(\Sigma) (U^H (F^H b)))))$

O (n^{2})

$O(n^2)$

C

$C$

O (n^{2})

$O(n^2)$

— ジャックポールソン

1

最小二乗問題の条件数は、「古典的な」条件番号ではないことを@JM注、ただし、

行列の。より複雑な量です。

\frac{σ_{1}}{σ_{n}}

$\frac{\sigma_1}{\sigma_n}$

— フェデリコポロニ

3

パフォーマンスをどのように測定しますか？速度？正確さ？安定？Matlabのクイックテストでは、次のことができます。

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

したがって、LU分解で単一システムを解くのは、精度の10進数の半分を犠牲にして、QR分解で解くの約3倍の速さです（この例！）。

— ペドロ
ソース

あなたが提案したメリットはどれでも歓迎です。

— -faleichik

3

あなたが引用した記事は、数値的に不安定であるにもかかわらず、ランダムマトリックスでうまくいく傾向があり、考えられるほとんどのマトリックスはランダムマトリックスのようなものであるため、ガウス消去を擁護します。この同じ文は、多くの数値的に不安定な方法についても言えます。

すべての行列のスペースを考慮してください。これらのメソッドは、ほぼどこでも問題なく機能します。これは、作成できるすべての行列の99.999 ...％であり、不安定なメソッドでは問題ありません。GEや他の人が困難になるマトリックスはごくわずかです。

研究者が気にする問題は、その小さな部分にある傾向があります。

行列をランダムに作成しません。非常に特殊な非ランダムシステムに対応する非常に特殊なプロパティを持つ行列を作成します。これらの行列は、多くの場合、悪条件です。

幾何学的には、すべての行列の線形空間を考慮することができます。この空間を通る特異行列のゼロの体積/測定部分空間があります。私たちが構築する多くの問題は、この部分空間の周りに集まっています。それらはランダムに配布されません。

例として、熱の方程式または分散を検討します。これらのシステムは、システムから情報を削除する傾向があり（すべての初期状態が単一の最終状態に引き寄せられます）、結果として、これらの方程式を記述する行列は非常に特異です。このプロセスは、ランダムな状況では非常にまれですが、物理システムではどこにでもあります。

— MRocklin
ソース

2

線形システムの初期状態が悪い場合は、使用する方法に関係なく、LU分解とQR分解の両方が不正確な結果をもたらします。QRは、ガウス除去のプロセスが適切なマトリックスを「損なう」場合にのみ勝つことができます。主な問題は、そのような振る舞いの実際的なケースが知られていないことです。

— faleichik

ほとんどの科学アプリケーションでは、通常、スパース行列、対称行列、正定行列、および/または対角優位の行列を取得します。ごくわずかな例外を除き、マトリックスには、従来のガウス消去法よりも特定の手法を活用できる構造があります。

— ポール

@Paul：一方、密なガウス消去法は、スパース非対称行列のマルチフロント法でほとんどの時間を費やします。

— ジャックポールソン

6

@Paul「ほとんどのアプリケーションがSPD /対角優勢行列を生成する」ことは事実ではありません。はい、通常、何らかの悪用可能な構造がありますが、非対称で不明確な問題は非常に一般的です。

— ジェッドブラウン

4

「50年間のコンピューティングでは、爆発的な不安定性を引き起こすマトリックスの問題が自然環境で発生したことは知られていない。」- LN TrefethenとD.バウは、彼らは本の中で興味深い確率論的分析を与えます。

— JM