2つの共分散行列間の類似性または距離の測定

28

2つの対称共分散行列（どちらも同じ次元）の間に類似性または距離の尺度はありますか？

ここでは、2つの確率分布のKL発散や、マトリックスに適用されないベクトル間のユークリッド距離の類似物を考えています。かなりの数の類似性測定があると思います。

理想的には、2つの共分散行列が同一であるという帰無仮説もテストしたいと思います。

— ラム・アルワリア
ソース

3

この質問に対する回答：quant.stackexchange.com/q/121/108が役に立つかもしれません。

— みすぼらしいシェフ

2

リンク上の優れた質問と回答-ありがとう-はい、これは私が行っていた場所です:)

— Ram Ahluwalia

2

関連質問：分散共分散行列の均一性を評価するための診断プロット。関連論文：共分散行列の比較のための簡単な手順。

— アメーバは、モニカーを復活させる

21

あなたが規範のいずれかを使用することができます $\| A-B \|_p$ （参照ウィキペディアの規範の様々な上、注意をその距離の二乗の和の平方根、は、フロベニウスノルムと呼ばれ、の最大固有値の平方根であるノルムとは異なりますが、もちろん同じトポロジを生成します）。同じ平均値を持つ2つの正規分布（たとえばゼロ）と2つの特定の共分散行列の間のKL距離は、Wikipediaでもとして利用できます。 $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ 。 $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

編集：行列の1つがモデル含意行列で、もう1つが標本共分散行列である場合、もちろん2つの間の尤度比検定を作成できます。単純な構造に対するこのようなテストの私の個人的なお気に入りのコレクションは、Rencher（2002）Methods of Multivariate Analysisに示されています。より高度なケースは共分散構造モデリングでカバーされており、その妥当な出発点はBollen（1989）潜在変数を伴う構造方程式です。

— StasK
ソース

私は問題が持っている

あなたが並べ替える場合には、同じ値を与えるものではありません：

と

（実際の距離は対称でなければなりません）。

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— user603

私は

問題があります：アフィン同変ではありません（行列を回転させると、距離が変化します！）。さらに、あなたが何らかの形で（彼らは非常に異なる単位で測定される可能性があります）あなたの行列をスケーリングする必要があり、また、それは2つの共分散行列との距離が対応する相関行列間の距離と同じであることを要求するだけで自然である：私は提案しそう

。

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— user603

2

まず、KLは実際の距離ではなく、それはよく知られた事実です。第二に、マトリックスが異なる単位で測定される場合、それらを等しくすることはできません。

— StasK

KL距離は尤度比に似ていますか、またはそれらは関連していますか？

— hashmuke

7

意味とあなたの行列の両方の寸法の。 $\varSigma_1$ $\varSigma_2$ $p$

COND番号：ここで、（）の最大（最小）の固有値である、：のように定義される $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

編集：2つの提案の2番目を編集しました。私は質問を誤解していたと思います。条件数に基づく提案は、適合品質を評価するために堅牢な統計で多く使用されます。私がそれを見つけることができた古いソースは次のとおりです。

ヨハイ、VJおよびマロンナ、RA（1990年）。ロバスト共分散の最大バイアス。統計のコミュニケーション–理論と方法、19、3925–2933。

私はもともと、Det比率の尺度を含めていました。

検出率： $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

これは、同じ位置ベクトルを持つ2つのガウス分布間のBhattacharyya距離になります。私はもともと、2つの共分散が平均値が等しいと仮定された母集団のサンプルから得られた設定に関する質問を読んだに違いありません。

— user603
ソース

7

A measure introduced by Herdin (2005) Correlation Matrix Distance, a Meaningful Measure for Evaluation of Non-Stationary MIMO Channels is

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$ where the norm is the Frobenius norm.

— davidc
ソース

+1. Thanks a lot for this answer, it was very helpful to me.

— amoeba says Reinstate Monica

1

This is one minus cosine similarity, right?

— Firebug

4

The covariance matrix distance is used for tracking objects in Computer Vision.

The currently used metric is described in the article: "A metric for covariance matrices", by Förstner and Moonen.

— Andres Romero
ソース