正定対称（共分散）行列の逆行列を処理しますか？

27

統計とそのさまざまなアプリケーションでは、さまざまな用途で共分散行列を計算することがよくあります。場合によっては、さまざまな計算のためにこの行列の逆行列が必要になります（たとえば、この逆行列を（唯一の）中心行列とする2次形式）。このマトリックスの品質と使用目的を考えると、私は疑問に思います：

数値安定性の観点から、この逆を計算または使用する方法（2次形式または一般的な行列ベクトル乗算の場合）の最良の方法は何ですか？便利になる可能性のある因数分解？

linear-algebra matrix

— ベンジャミン・アレビウス
ソース

14

コレスキー分解は、上三角行列逆コレスキー様分解になります。 $C=R^TR$ $C^{-1}=SS^T$ $S=R^{-1}$

実際には、逆因数分解を維持することが最善です。がスパースの場合、行列ベクトル積は2つの三角システムおよび解くことで計算できるため、通常は暗黙的に維持することをお勧めします。 $R$ $S$ $y=C^{-1}x$ $R^Tz=x$ $Ry=z$

— アーノルド・ノイマイアー
ソース

25

共分散行列は正の半正対称対称行列になるため、共分散行列を操作している場合、コレスキー分解は最適な安定性と速度を実現するのに最も有効です。コレスキーはここで自然です。しかし...

コレスキー分解を計算する予定がある場合は、共分散行列を計算する前に、自分で好意的です。行列のQR分解を計算することにより、問題を最大限に安定させます。（QRも高速です。）つまり、共分散行列を次のように計算する場合

C = A^{T} A

$C = A^{T} A$

どこ取り除か列手段を持っていた、そのフォームを参照、それ正方形条件数を。コレスキー分解を明示的に計算するよりも、のQR因子を形成する方が良いのです。 $A$ $C$ $A$ $A^{T}A$

A = Q R

$A = QR$

Qは直交なので、

\begin{aligned} C & = （ Q R ）^{T} Q R \\ = R^{T} Q^{T} Q R \\ = R^{T} 私 R \\ = R^{T} R \end{aligned}

$\begin{align} C &= (QR)^{T} QR \\ &= R^T Q^T QR \\ &= R^T I R \\ &= R^{T} R \end{align}$

したがって、コレスキー因子を形式でQR分解から直接取得します。場合 -less QR因数分解が利用可能である必要がないので、これはさらに良いです。A 以来-less QRは、コンピューティングへの高速なものである生成されることはありません。それは単にHouseholder変換のシーケンスになります。（列がピボットされ、なしのQRは論理的にさらに安定しますが、ピボットを選択するための余分な作業が必要になります。） $R^{T}$ $Q$ $Q$ $Q$ $Q$ $Q$

ここでQRを使用する大きな利点は、厄介な問題に対して数値的に非常に安定していることです。繰り返しますが、これはコレスキー因子を計算するために共分散行列を直接作成する必要がなかったためです。製品を形成するとすぐに、マトリックスの条件番号を二乗します。事実上、元々情報がほとんどなかったマトリックスの部分の情報が失われます。 $A^{T}A$

最後に、別の応答が指摘しているように、逆行列を計算して保存する必要はまったくありませんが、逆に三角システムのバックソルブの形式で暗黙的に使用します。

— 五価炭素
ソース

5

あなたがに基づいて、二次形式評価する必要がある場合

あなたが計算することにより安定し、これを行うことができ、

、すなわち、1つの前進代入を行うと、規範を取ります。

C^{- 1}

$C^{-1}$

⟨ x, C^{- 1} x ⟩ = ⟨ x, (R^{T} R)^{- 1} x ⟩ = ‖ R^{- T} x ‖^{2}

$\langle x,C^{-1}x\rangle = \langle x,(R^T R)^{-1}x\rangle = \|R^{-T}x\|^2$

— クリスチャンクラソン

3

mathSEからの提案を使用して、最近これを初めて行いました。

SVDは私が考えるほとんどの人に推奨されましたが、コレスキーのシンプルさを選択しました。

行列場合、私は分解三角行列にように、コレスキーを使用して、。次に、（Lを上三角にするか下三角にするかに応じて）backsubstitutionまたはforwardsubstitutionを使用して、を反転し、を持ちます。このことから、私はすぐに計算することができます。 $M = A A^\top$ $M$ $L$ $M = L L^\top$ $L$ $L^{-1}$ $M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top}L^{-1}$

皮切りに：

$M = A A^\top$ $M$

コレスキー分解：

$M \rightarrow L L^\top$ $L$

逆置換：

$L \rightarrow L^{-1}$ $L$

乗算：

$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top} L^{-1}$

$L^{-\top}$ $L^{-1}$

私のコレスキーアルゴリズム（おそらくNumerical RecipesまたはWikipediaから）

$L_i^j = \frac{M_i^j - M_i \cdot M_j}{M_i^i - M_i \cdot M_i}$

これはほぼインプレースで実行できます（対角要素、アキュムレータ、および整数イテレータの一時的なストレージのみが必要です）。

私の後方置換アルゴリズム（数値レシピから、LaTeXマークアップで間違いを犯した可能性があるため、バージョンを確認してください）

$\left(L^{-1}\right)_i^j = \left\{\begin{array}{11} 1 / {L_i^i} & \mbox{if } i = j\\ \left(-L_i \cdot \left(L^{-T}\right)_j\right) / L_i^i & \mbox{otherwise} \end{array}\right.$

$L^{-T}$

— マーク・K・コーワン
ソース

2

行列に逆行列があることがわかっている場合（つまり、正定行列である場合）、大きすぎない場合、コレスキー分解は行列の逆行列を特徴付ける適切な手段を提供します。

— ウルフギャング・バンガース
ソース