低ランク線形システムの高速計算/推定

方程式の線形システムは、計算統計に広く使用されています。私が遭遇した1つの特別なシステム（たとえば、因子分析）はシステムです

A x = b

$Ax=b$

ここで、ここでである厳密に正の対角を有する対角行列で、ある（と対称半正定値行列）であり、任意であり行列。低ランクの行列によって摂動された対角線形システム（簡単）を解くように求められます。上記の問題を解決する素朴な方法は、Woodburyの式を使用してを反転させることです

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ 。ただし、コレスキーおよびQR分解は通常、線形システム（および正規方程式）の解を劇的に高速化できるため、これは正しくありません。私は最近次の論文を思いつきました。これはコレスキーのアプローチを採用しているようで、ウッドベリーの反転の数値的不安定性について言及しています。しかし、論文は草案のようで、数値実験や裏付けとなる研究が見つかりませんでした。私が説明した問題を解決するための最新技術は何ですか？

— ギャップのある
ソース

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

ϵ

$\epsilon$

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ 両方のケースで。）すべての逆行列は対角行列であり、したがって自明であることに注意してください。

— 枢機卿、

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

Golub＆van Loanによる "Matrix Computations"は、12.5.1章で、rank-p更新後のQRおよびコレスキー分解の更新について詳しく説明しています。

— ファビアン・ペドレゴサ
ソース

私は知っています。関連するlapack関数は、私がリンクした論文と本の両方で言及されています。ただし、一般的な更新の問題ではなく、現在の問題のベストプラクティスは何ですか。

— ギャップのある