高速陽解、、低条件数

9

3x3線形実問題、高速な（最適と言えるでしょうか）陽解法を探しています。 $\mathbf{A}\mathbf{x} = \mathbf{b}$ $\mathbf{A} \in \mathbf{R}^{3 \times 3}, \mathbf{b} \in \mathbf{R}^{3}$

行列は一般的ですが、条件数が1に近い単位行列に近いです。は、実際には約5桁の精度のセンサー測定であるため、数値のために数桁を失ってもかまわない問題。 $\mathbf{A}$ $\mathbf{b}$

もちろん、任意の数の方法に基づいて明示的な解決策を見つけることは難しくありませんが、FLOPSカウントに関して最適であることが示されているものがあれば、それは理想的です（結局のところ、問題全体） FPレジスタに収まる可能性があります！）。

（はい、このルーチンは頻繁に呼び出されます。私はすでに低ぶら下がり果物を取り除いており、これは私のプロファイリングリストの次です...）

linear-solver reference-request

— ダミアン
ソース

各は1 回だけ使用されますか、または同じ行列を持つ複数の線形システムがありますか？これはコストを変えるでしょう。

A

$A$

— Federico Poloni、2014年

この場合、Aは1回だけ使用されます。

— Damien

14

明確な公式を打ち負かすことはできません。解の式を紙に書き留めます。コンパイラーに最適化してもらいます。他のすべてのメソッドには、ほとんどの場合、ステートメントやループ（たとえば、反復メソッドの場合）があり、コードがどの直線コードよりも遅くなります。 $x=A^{-1}b$ iffor

— ヴォルフガングバンガース
ソース

9

行列は恒等式に非常に近いため、次のノイマン級数は非常に速く収束します。

あ^{- 1} = Σ_{k = 0}^{\infty} （ 私 - あ ）^{k}

$A^{-1} = \sum_{k=0}^\infty (I-A)^k$

必要な精度によっては、2つの項の後で切り捨てるのに十分な場合もあります。

あ^{- 1} \approx 私 + （ 私 - あ ） = 2 私 - あ 。

$A^{-1} \approx I + (I - A) = 2I - A.$

これは直接的な式よりも少し速いかもしれませんが（Wolfgang Bangerthの回答で示唆されています）、はるかに正確ではありません。

3つの項を使用すると、より正確になります。

あ^{- 1} \approx 私 + （ 私 - あ ） + （ 私 - あ ）^{2} = ３ 私 - ３ あ + あ^{2}

$A^{-1} \approx I + (I - A) + (I-A)^2 = 3I - 3A + A^2$

ただし、エントリごとの式を書き出すと、直接3x3行列の逆式と同等の浮動小数点演算が表示されます（実行する必要はありません）除算ですが、少し役立ちます）。 $(3I - 3A + A^2)b$

— ニック・アルガー
ソース

部門はまだ他のフロップよりも高価ですか？過去の遺物だと思いました。

— Federico Poloni、2014年

部門は、いくつかのアーキテクチャの1つをうまくパイプライン処理しません（ARMは現代的な例です）

— Damien

@FedericoPoloni Cudaを使用すると、ここで命令のスループットを確認できます。乗算/加算の除算よりも6倍高くなります。

— キリル、

@DamienとKirill、ポインタへの感謝。

— フェデリコポローニ2014年

5

上記の提案に基づくFLOPSカウント：

LU、ピボットなし：
- Mul = 11、Div / Recip = 6、Add / Sub = 11、合計= 28; または
- Mul = 16、Div / Recip = 3、Add / Sub = 11、合計= 30
逆置換を伴うガウス消去法、ピボットなし：
- Mul = 11、Div / Recip = 6、Add / Sub = 11、合計= 28; または
- Mul = 16、Div / Recip = 3、Add / Sub = 11、合計= 30
補因子展開によるクラマーの法則
- Mul = 24、Div = 3、Add / Sub = 15、合計= 42; または
- Mul = 27、Div = 1、Add / Sub = 15、合計= 43
明示的な逆行列を乗算します。
- Mul = 30、Div = 3、Add / Sub = 17、合計= 50; または
- Mul = 33、Div = 1、Add / Sub = 17、合計= 51

MATLABの概念実証：

補因子展開によるクレイマーの法則：

function k = CramersRule(A, m)
%
% FLOPS:
%
% Multiplications:        24
% Subtractions/Additions: 15
% Divisions:               3
%
% Total:                  42

a = A(1,1);
b = A(1,2);
c = A(1,3);

d = A(2,1);
e = A(2,2);
f = A(2,3);

g = A(3,1);
h = A(3,2);
i = A(3,3);

x = m(1);
y = m(2);
z = m(3);

ei = e*i;
fh = f*h;

di = d*i;
fg = f*g;

dh = d*h;
eg = e*g;

ei_m_fh = ei - fh;
di_m_fg = di - fg;
dh_m_eg = dh - eg;

yi = y*i;
fz = f*z;

yh = y*h;
ez = e*z;

yi_m_fz = yi - fz;
yh_m_ez = yh - ez;

dz = d*z;
yg = y*g;

dz_m_yg = dz - yg;
ez_m_yh = ez - yh;


det_a = a*ei_m_fh - b*di_m_fg + c*dh_m_eg;
det_1 = x*ei_m_fh - b*yi_m_fz + c*yh_m_ez;
det_2 = a*yi_m_fz - x*di_m_fg + c*dz_m_yg;
det_3 = a*ez_m_yh - b*dz_m_yg + x*dh_m_eg;


p = det_1 / det_a;
q = det_2 / det_a;
r = det_3 / det_a;

k = [p;q;r];

LU（ピボットなし）と逆代入：

function [x, y, L, U] = LUSolve(A, b)
% Total FLOPS count:     (w/ Mods)
%
% Multiplications:  11    16
% Divisions/Recip:   6     3
% Add/Subtractions: 11    11
% Total =           28    30
%

A11 = A(1,1);
A12 = A(1,2);
A13 = A(1,3);

A21 = A(2,1);
A22 = A(2,2);
A23 = A(2,3);

A31 = A(3,1);
A32 = A(3,2);
A33 = A(3,3);

b1 = b(1);
b2 = b(2);
b3 = b(3);

L11 = 1;
L22 = 1;
L33 = 1;

U11 = A11;
U12 = A12;
U13 = A13;

L21 = A21 / U11;
L31 = A31 / U11;

U22 = (A22 - L21*U12);
L32 = (A32 - L31*U12) / U22;

U23 = (A23 - L21*U13);

U33 = (A33 - L31*U13 - L32*U23);

y1 = b1;
y2 = b2 - L21*y1;
y3 = b3 - L31*y1 - L32*y2;

x3 = (y3                  ) / U33;
x2 = (y2 -          U23*x3) / U22;
x1 = (y1 - U12*x2 - U13*x3) / U11;

L = [ ...
    L11,   0,   0;
    L21, L22,   0;
    L31, L32, L33];

U = [ ...
    U11, U12, U13;
      0, U22, U23;
      0,   0, U33];

x = [x1;x2;x3];
y = [y1;y2;y3];

明示的な逆、次に乗算：

function x = ExplicitInverseMultiply(A, m)
%
% FLOPS count:                  Alternative
%
% Multiplications:        30            33
% Divisions:               3             1
% Additions/Subtractions: 17            17
% Total:                  50            51


a = A(1,1);
b = A(1,2);
c = A(1,3);

d = A(2,1);
e = A(2,2);
f = A(2,3);

g = A(3,1);
h = A(3,2);
i = A(3,3);

ae = a*e;
af = a*f;
ah = a*h;
ai = a*i;

bd = b*d;
bf = b*f;
bg = b*g;
bi = b*i;

cd = c*d;
ce = c*e;
cg = c*g;
ch = c*h;

dh = d*h;
di = d*i;

eg = e*g;
ei = e*i;

fg = f*g;
fh = f*h;

dh_m_eg = (dh - eg);
ei_m_fh = (ei - fh);
fg_m_di = (fg - di);

A = ei_m_fh;
B = fg_m_di;
C = dh_m_eg;
D = (ch - bi);
E = (ai - cg);
F = (bg - ah);
G = (bf - ce);
H = (cd - af);
I = (ae - bd);

det_A = a*ei_m_fh + b*fg_m_di + c*dh_m_eg;

x1 =  (A*m(1) + D*m(2) + G*m(3)) / det_A;
x2 =  (B*m(1) + E*m(2) + H*m(3)) / det_A;
x3 =  (C*m(1) + F*m(2) + I*m(3)) / det_A;

x = [x1;x2;x3];

ガウスの除去：

function x = GaussianEliminationSolve(A, m)
%
% FLOPS Count:      Min   Alternate
%
% Multiplications:  11    16
% Divisions:         6     3
% Add/Subtractions: 11    11
% Total:            28    30
%

a = A(1,1);
b = A(1,2);
c = A(1,3);

d = A(2,1);
e = A(2,2);
f = A(2,3);

g = A(3,1);
h = A(3,2);
i = A(3,3);

b1 = m(1);
b2 = m(2);
b3 = m(3);

% Get to echelon form

op1 = d/a;

e_dash  = e  - op1*b;
f_dash  = f  - op1*c;
b2_dash = b2 - op1*b1;

op2 = g/a;

h_dash  = h  - op2*b;
i_dash  = i  - op2*c;
b3_dash = b3 - op2*b1; 

op3 = h_dash / e_dash;

i_dash2  = i_dash  - op3*f_dash;
b3_dash2 = b3_dash - op3*b2_dash;

% Back substitution

x3 = (b3_dash2                  ) / i_dash2;
x2 = (b2_dash        - f_dash*x3) / e_dash;
x1 = (b1      - b*x2 -      c*x3) / a;

x = [x1 ; x2 ; x3];

注：この投稿に独自のメソッドとカウントを自由に追加してください。

— ダミアン
ソース

2つの方法で解決するのにかかる時間を計算しましたか？

— nicoguaro

いいえ。上記のコードはすぐには実行されません。ポイントは、明示的なFLOPSカウントを取得し、何かを見逃した場合に備えてレビュー用のコードを提供することでした

— Damien

LUでは、2つの余分な逆数演算（つまり、1 / U11と1 / U22）を犠牲にして、5師団を5 MULに変換できます。それはそこに作られるべき利益があるかどうかに関してアーチ特有です。

— ダミアン

2

A^{- 1} b

$A^{-1}b$

2 b - A b

$2b - Ab$

A^{- 1} b

$A^{-1}b$

3 (b - A b) + A^{2} b

$3(b - Ab) + A^2b$

A^{- 1} b

$A^{-1}b$ 乗算33回、加算/減算17回、除算1回のように見えます。私が言ったように、私の番号がオフになっている可能性があるため、再確認することをお勧めします。

— Geoff Oxberry 2014年

@GeoffOxberry、私はそれを調べて報告します。

— ダミアン

4

おそらくクラマーの法則。ピボットを回避できる場合は、おそらくLU因数分解です。これは3x3のマトリックスなので、ループを手動で展開するのは簡単です。それ以外のものはおそらく分岐を伴い、クリロフ部分空間法が1回または2回の反復で十分な頻度で収束し、価値があるとは思えません。

— ジェフオックスベリー
ソース