A'AおよびAA '配合の条件数

9

これは、（ユセフサアド、示されていますスパース線形システムのための反復法、P。260）が $cond(A'A) \approx cond(A)^2$

これはにも当てはまりますか？ $AA'$

ケースにはであると、私はその観察 $A$ $N\times M$ $N \ll M$ $cond(A'A) \gg cond(AA')$

この場合、での定式化が望ましいということですか？ $AA'$

linear-algebra condition-number

— アレクサンダー
ソース

2

サイズが大きく異なる2つの行列の条件数を比較しています。理由の説明がないと、その比較はおそらく意味がないようです。確かに、はるかに小さな行列を使用して必要なことを達成できる場合は、（条件が似ていても）すべきです。

— David Ketcheson、2012年

1

以下のステファノMの新しい答えは正しいです。読んで投票してください。

— David Ketcheson、

6

場合と、その後、ようにはフルランクにすることはできません。つまり、特異です。 $A\in\mathbb{R}^{N\times M}$ $N<M$

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$

従って、条件数は。有限精度の計算のため、MATLABで計算すると、ではなく、大きな数が得られます。 $\kappa_2(A^TA)=\infty$ cond(A'A)Inf

— ステファノM
ソース

@OscarB：

の特異値は単なる

であり、

番目の特異値のようなものはありません！あなたの導出は、場合に正確であるが、の注意

、

SVのである

は、

が、

A

$A$

N

$N$

M

$M$

σ_{i}

$\sigma_i$

i = 1 \dots N

$i=1\dots N$

A

$A$

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$

と

末尾のゼロ。

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$

M - N

$M-N$

— Stefano M

8

さて、なぜが条件数の2乗に近いのかを見てみましょう。SVD分解を使用してと、、、、我々は表現できとしての $A^TA$ $A$ $A=USV^T$ $U \in \mathbb{R}^{N \times N}$ $S \in \mathbb{R}^{N \times M}$ $V \in \mathbb{R}^{M \times M}$ $A^T A$

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

ように、が正規直交であることに注意して到達しました。ことをさらに我々ノート最終分解するような対角行列であり、ように表すことができると、意味から最初のN個の特異値を持つ対角行列を得、乗斜めに。これは、条件数が最初と最後の特異値の比であるため、 $U$ $U^T U=I$ $S$ $A^TA$ $V S^2 V^T$ $S^2$ $S^T S$ $S$ のための、 $cond(A)=\frac{s_1}{s_N}$ $A \in \mathbb{R}^{N \times M}$

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

これで、を使用して同じ演習を実行できます。 $AA^T$

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

つまり、結果、ここでのは意味するため、上記の表記との微妙な違い。 $cond(AA^T)=\frac{s_1^2}{s_N^2}$ $S^2$ $SS^T$

ただし、微妙な違いに注意してください。以下のためにが、条件数は、分母におけるM番目の特異値を有する N番目の特異値を有します。これが、条件数に大きな違いが見られる理由を説明しています— は確かによりも「より良い条件」になります。 $A^TA$ $AA^T$ $AA^T$ $A^TA$

それでも、David Ketchesonは正しかった— 2つの非常に異なる行列間の条件数を比較しています。特に、達成できることは、達成できることと同じではありません。 $A^TA$ $AA^T$

— OscarB
ソース

A A^{'}

$AA'$

A^{'} A

$A'A$

それが理にかなってうれしい。一般に、問題の条件付けを考慮する必要があります。ただし、それが問題でない場合は、問題のサイズに応じて、（Aの）通常の方程式/ QR分解/ LSQRのいずれかを使用できます。問題が大きくないか、条件が悪い場合を除いて、おそらくQR分解を適用しますが、解決しようとしている問題についての知識がなければ、判別するのは困難です。もっと経験のある人ならもっときめ細かくアドバイスできると思います。

— OscarB

\approx 10^{7}

$\approx 10^7$

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$

N < M

$N < M$ ）その場合は、製品をまったく作成する必要がないため、LSQRを使用することが常に望ましいようです。問題は、正規方程式とLSQRで得られた解が同じかどうかです。

— アレクサンダー

まあ、私が理解しているように、LSQRは、「無限に多くの」反復を正確な精度で実行した後、通常の方程式に対して同じ解決策を提供します。ただし、不適切な問題の場合、通常の方程式の解は必要なものではありません。代わりに、LSQRを使用して、半収束が達成されるまで反復する必要があります。ただし、不適切な問題で反復アルゴリズムを制御することは、まったく別の球技です。また、行列とベクトルの積のコストと必要な反復回数（つまりmatvecs）によっては、2重対角化を使用した直接tikhonovソリューションの方が適している場合があります。

— OscarB

素晴らしい説明。+1あなたのために！

— meawoppl

2

$\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$

A = (\begin{matrix} ϵ & 1 \\ 0 & ϵ \end{matrix}), ϵ ≪ 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

$\cond A^T A = \bigO(\epsilon^{-4})$ $\cond A^2 = \bigO(\epsilon^{-2})$

— ジェド・ブラウン
ソース

A^{2}

$A^2$

A^{T} A

$A^T A$

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$

@StefanoMおかげで、ディスカッションから、私だけが間違っていたわけではありませんが、誤解しているようです。

— ジェドブラウン

1

正確な算術cond（A ^ 2）= cond（A'A）= cond（AA '）で、例えばを参照してください。Golub and van Loan、第3版、p70。Aがランク不足に近い場合、これは浮動小数点演算では当てはまりません。最良のアドバイスは、最小二乗問題を解決するときに上記の本のレシピに従うことです。最も安全なのはSVDアプローチです（p257）。SVDを計算するときは、代わりに\ varepsilon-rankを使用してください。ここで、\ varepsilonは行列データの解像度です。

— アルタン
ソース

すみません、ゴラブとヴァン・ローンの第3版を見てみました。70、そしてステートメントcond（A ^ 2）= cond（A ^ TA）= cond（AA ^ T）をバックアップするものを見つけることができませんでした。あなたの参照でより具体的にできますか？

— OscarB 2012年

そこにはステートメントはありませんが、定理2.5.2と疑似逆行列、セクション5.5.4からcond（AA '）= cond（A'A）から導出できます。私が疑似逆行列をとる理由は、これが手元の最小二乗問題にとって重要なことだからです。cond（A ^ 2）の後の等式は、タイプミスのため申し訳ありませんが、おおよそです。

— Artan

いいえ、この答えは完全に間違っています。私の反例を見てください。

— ジェドブラウン

Saadは、ある特定のコンテキストに対してそのようなポイントを作成したに違いありません。当面の問題に関連するのは、進行中の議論です。

— Artan 2012