グラフラプラシアン（逆）共分散による多変量ガウスからのサンプリング

たとえば、Koutis-Miller-Peng（Spielman＆Tengの研究に基づく）から、非負のエッジ重みを持つスパースグラフのグラフラプラシアン行列である行列線形システム $A x = b$ を非常に迅速に解くことができることがわかります。。 $A$

ここで（最初の質問）これらのグラフラプラシアン行列 1つを $A$ 共分散として使用するか、（2番目の質問）平均ゼロの多変量正規分布の逆共分散行列または。これらの各ケースについて、2つの質問があります。 $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A.この分布からどのくらい効率的にサンプルを抽出できますか？（通常、サンプルを描画するには、コレスキー分解を計算し、標準法線描画してから、としてサンプルを計算します）。 $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

B.の行列式をどれだけ効率的に計算できますか？ $A$

これらは両方ともコレスキー分解があれば簡単に解決できることに注意してください。しかし、上記で参照した手法を使用しない標準スパースコレスキーアルゴリズムを使用するよりも効率的にを抽出する方法はすぐにはわかりません。動作しますが、これはまばらだが高ツリー幅のグラフでは立方体の複雑さを持ちます。 $L$

— dan_x
ソース

どちらの場合でも「効率的」だと思うものをもう少し具体的にすると役立つと思う「効率的」は「コレスキー分解に依存しない」と同じですか？

— スレシュヴェンカト

提案をありがとう。すべての質問に対する答えは、「コレスキー分解を計算する必要があり、行列の疎さを超えて活用できる構造はない」という可能性があります。これが真実かどうか知りたいのですが（そうでないことを望みます）。最後の段落の「効率的に」に関して、はい、ほとんどの場合、標準のスパースコレスキーアルゴリズムよりも効率的です。上記の作業の手法を使用して、コレスキーを他の方法で実行できるのと同じくらい速く計算する方法があれば、それも興味深いでしょう。

— dan_x

からサンプリングする場合、その使用できます。ここで、はグラフの入射行列です。したがって、（はエッジ）で標準ガウスからサンプリングし、線形変換を適用できます。これが以下の提案とどのように比較されるかわかりませんが、コレスキー分解を計算する必要はありません。

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— ロレンツォナジット

ここには2つの個別の問題があります。

を適用ためにに効率的なソルバーを使用する方法。 $Ax=b$ $A^{1/2}b$
行列式の計算方法。

簡単な答えは、1）有理行列関数の近似を使用すること、2）使用しないが、とにかくする必要がないことです。これらの問題の両方に対処します。

行列の平方根近似

ここでの考え方は、スカラー関数の有理関数近似を行列関数の有理関数近似に変換することです。

平方根関数を非常によく近似できる有理関数が存在することがわかっています。正の。実際、区間で高い精度を得るには、系列に項が必要です。適切な重み（）と極（）を取得するには、有理関数近似をオンラインまたは本で調べるだけです。

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

次に、この有理関数をマトリックスに適用することを検討してください：

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

の対称性により、ここで、は特異値分解（SVD）です。したがって、有理行列近似の品質は、固有値の位置での有理関数近似の品質と同等です。 $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

条件数表すすることによって、我々は適用でき実行することによって、任意の所望の公差の形の正シフトグラフラプラシアン溶液 $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

これらのソリューションは、お気に入りのグラフラプラシアンソルバーを使用して実行できます。マルチグリッドタイプの手法をお勧めしますが、引用する論文でも問題ありません。余分なは、ソルバーの収束のみに役立ちます。 $bI$

これを議論する優れた論文、および非対称行列に適用されるより一般的な複雑な解析手法については、Hale、Higham、Trefethen による輪郭積分による、、および関連する行列関数の計算を $A^α$ $\log(A)$ 参照してください）。

決定要因の「計算」

行列式は計算が困難です。私の知る限り、最良の方法は、QRアルゴリズムを使用してSchur分解を計算し、上三角行列対角線から固有値を読み取ることです。これには時間かかりますはグラフ内のノードの数です。 $A = Q U Q^*$ $U$ $O(n^3)$ $n$

ただし、行列式の計算は本質的に悪条件の問題であるため、大きな行列の行列式の計算に依存する論文を読んだ場合、この方法には非常に懐疑的です。

幸い、おそらく決定要因は実際には必要ないでしょう。例えば、

単一のガウス分布からサンプルを描画するには、正規化定数はすべての点で同じであるため、計算する必要はありません。 $N(0,A^{-1})$
ラプラシアン行列が、点での非ガウス分布に対する局所ガウス近似の逆共分散を表す場合、行列式は実際に点から点に変化します。しかし、（マルコフ連鎖モンテカルロ、重点サンプリングなどを含む）私が知っているすべての効果的なサンプリング方式に何が本当に必要なのである決定比、場所は現在のポイントで、は提案された次のサンプルです。 $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

我々が見ることができ、アイデンティティを低ランクの更新として有効数字ランク、低ランク更新は、非ガウス真の分布がどの程度の局所的な尺度です。通常、これはマトリックスのフルランクよりもはるかに低くなります。確かに、が大きい場合、真の分布は局所的であるため非局所的であるため、局所的ガウス近似を使用してこの分布をサンプリングしようとする戦略全体を疑問視する必要があります。 $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

低ランク係数およびは、ランダム化SVDまたはLanczosで、マトリックスを異なるベクトルに適用することで見つけることができます。ラプラシアン解。したがって、これらの低ランク係数を取得するための全体的な作業はです。 $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

知る、行列式の比は、その後で $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

これらの低階数行列式比計算技術は、に見出すことができる地震インバージョンへの応用大規模統計逆問題のためにA確率ニュートンMCMC法ら、Martinによります。（2012）。この論文では、連続体問題に適用されるため、「グラフ」は3D空間のグリッドであり、グラフラプラシアンは実際のラプラシアン行列です。ただし、すべての手法は一般的なグラフラプラシアンに適用されます。このテクニックを一般的なグラフに適用している他の論文もおそらくあるでしょう（この拡張は簡単で、基本的に私が書いたものです）。

— ニック・アルガー
ソース