ランダム化トレース技術

10

M. Seegerで次のランダム化トレース手法に出会いました。「コレスキー分解の低ランク更新」、カリフォルニア大学バークレー校、Tech。担当者、2007年。

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

どこ $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$ 。

数学の知識がない人として、どうやってこの平等を実現できるのか。さらに、たとえば幾何学的にをどのように解釈でき $\mathbf{x}^T \mathbf{A} \mathbf{x}$ ますか？ベクトルとその範囲の値の内積を取ることの意味を理解するためにどこを見ればよいですか？なぜ平均が固有値の合計に等しいのですか？理論的な特性に加えて、その実用的な重要性は何ですか？

機能するかどうかを確認するために、MATLABコードスニペットを作成しました

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

トレースは15で、近似値は14.9696です。

normal-distribution matlab

— ペトリコール
ソース

12

注意：記述された結果は、の座標の正規性や独立性の仮定に依存しません。。が正定であることにも依存しません。実際に、仮定のみの座標こと 1のゼロ平均、分散を持っているとされている無相関（必ずしも独立していません）。つまり、すべてのに対して、、、およびです。 $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

素手アプローチ

ましょう任意でマトリックス。定義により。次に、これで完了です。 $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

はっきりしない場合は、期待値の直線性により、右側がことに注意してください

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

トレースプロパティの証明

示唆に富むが、概念的には少し高度なツールに依存する、これを記述する別の方法があります。期待値とトレース演算子の両方が線形であり、適切な次元の2つの行列およびについて、。次に、、したがって、 $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

二次形式、内積、楕円体

場合上で正定値は、内積であるを介して定義することができるおよびは、原点を中心とする楕円体を定義します。 $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— 枢機卿
ソース

太字のおよびmormalcase変数に従うのは非常に混乱します。それらはスカラー値だと思います。前回と同じように、予想フォームから始めると、より明確に理解できます。したがって、は私にとって非常に明確です。

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— ペトリコール

x_{i}

$\mathbf{x}_i$ は、ベクトルの番目の座標です。他は単にタイプミスです。申し訳ありません。私はあなたの記法にできるだけ忠実に従うように努めました。私は、通常使用すると確率変数の座標として。しかし、私は（潜在的に）混乱させたくありませんでした。

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— 枢機卿

実際、それは答えの中で一貫しています。下付きの変数がベクトルの要素であることを確認したかっただけです。今、それは明らかです。

— ペトリコール2011年

まあ、私が編集したので、（今）一貫しています。:)タイプミスを指摘していただきありがとうございます。今後数日間のある時点で、ジオメトリについてもう少し追加していきます。

— 枢機卿

3

場合対称であり、正定値次いで、と直交、及び対角線上に固有値を有する対角。以来、同一の共分散行列であり、正規直交であり、また、同一の共分散行列を有しています。したがって、と書くと、ます。期待演算子は線形なので、これは単なるです。各は1自由度のカイ二乗なので、期待値は1です。したがって、期待値は固有値の合計です。 $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

幾何学的に、対称の正定行列は、楕円体と1-1で対応しています。方程式与えられます。楕円体の軸の長さは、で与えられます。ここで、は固有値です。 $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

場合ここで、共分散行列であり、これは正方形であるマハラノビス距離。 $A = C^{-1}$ $C$

— アプロコピウ
ソース

1

質問の「その実用的な重要性は何ですか」の部分を取り上げます。行列保存されたコピーがない場合や、コピーを保存するための十分なストレージがない場合でも、行列ベクトル積効率的に計算できる状況が数多くあります。たとえば、のサイズは100,000 x 100,000で、完全に高密度である場合があります。このようなマトリックスを倍精度浮動小数点形式で格納するには、80ギガバイトのRAMが必要です。 $Ax$ $A$ $A$ $A$

このようなランダム化されたアルゴリズムを使用して、のトレースまたは（関連アルゴリズムを使用して）個々の対角要素を推定できます。 $A$ $A$

この手法の大規模な地球物理学の反転問題へのいくつかの応用については、

JKマッカーシー、B。ボーチャーズ、RCアスター。大規模な地球物理学的逆問題に対するモデル解像度行列対角線および一般化交差検証の効率的な確率論的推定。Journal of Geophysical Research、116、B10304、2011。論文へのリンク

— ブライアン・ボーチャーズ
ソース

+1今学期にランダム化されたアルゴリズムに出会い、それらに魅了されました。素敵な記事をもう1つ追加しましょう。Nathan Halko、Per-Gunnar Martinsson、Joel A. Tropp、「ランダムな構造を見つける：近似行列分解を構築するための確率的アルゴリズム」、2010、arxiv.org

— abs /