逆共分散または精度行列の解釈方法は？

64

濃度行列または精度行列としても知られる逆共分散行列の要素の解釈を議論する参考文献を誰かが私に指摘できるかどうか疑問に思っていました。

CoxとWermuthの多変量依存関係にアクセスできますが、探しているのは逆行列の各要素の解釈です。ウィキペディアは次のように述べています。「精度行列の要素は、部分相関と部分分散の観点から解釈されています」と私はこのページに導かれます。線形回帰を使用しない解釈はありますか？IE、共分散または幾何学の面で？

interpretation covariance-matrix

— ビングエン
ソース

4

ウィキペディアのページ全体を読みましたか？正規分布には、ジオメトリと条件付き独立に関するセクションがあります。この本でもっと見つけることができます。

— -NRH

@NRHジオメトリは偏相関ページで説明されていますが、濃度マトリックスとの関係はまだわかりません。そのグラフィカルモデルの本には、濃度マトリックスの要素の説明がありますか？ありがとう！

— ビングエン

以下の回答をご覧ください。

— -NRH

2

共分散行列の反転がランダム変数間の偏相関をもたらす理由

— アメーバは、モニカを復活させる

34

基本的に2つのことが言われます。1つ目は、多変量正規分布（ここでは平均0）の密度を見ると、に比例することですは、共分散行列の逆数であり、精度とも呼ばれます。この行列は正定値であり介し定義内積で。直交性の概念に特定の意味を与え、正規分布に関連するノルムを定義する結果のジオメトリは重要であり、たとえば、与えられたジオメトリに照らして物事を見るために必要なLDAのジオメトリコンテンツを理解するために沿って

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$ 。

する他の事は、部分的な相関から直接で読み取ることができるということである参照、ここに。同じウィキペディアのページでは、部分相関、したがってのエントリは、角度に対する余弦に関して幾何学的な解釈を持っていることが示されています。である何、おそらく、部分相関の文脈においてより重要との偏相関ということですとのみエントリー場合ならば0である中ゼロです。正規分布の場合、変数とは条件付きで独立しています $P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ 他のすべての変数が与えられます。これが、上記のコメントで言及したSteffensの本のすべてです。条件付き独立およびグラフィカルモデル。それは正規分布のかなり完全な扱いを持っていますが、それに従うことはそれほど簡単ではないかもしれません。

— NRH
ソース

1

申し訳ありませんが、ウィキペディアの偏相関の式について少し混乱しています。（マイナス記号付き）をとる実装を見てきました。ウィキペディアの公式は正しいですか？

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

— シェルジョン

1

@ Sh3ljohn、あなたは完全に正しい。ウィキペディアの式にマイナスがあります。

— NRH

最初の答えは、正確な行列よりもフィッシャーの情報について本当に話しているのではないでしょうか？本当に特別な/素敵なガウスの場合は一致しますが、一般的には一致しません。明らかに2つの概念は関連しています（Cramer-Raoの下限、MLEの漸近分布など）逆相関行列）。

— Chill2Macht

24

この確率的なグラフィカルモデルは、Zが与えられたXが条件付きでYから独立している場合にのみ、部分的な相関がゼロであるというNRHのポイントを示すために、すべての関与する変数が多変量ガウスであるという仮定で好きです（一般的な場合、プロパティは保持されません）：

ここに画像の説明を入力してください

（はガウス確率変数です。Tとkは無視します） $y_i$

出典：Gaussian Process BasicsについてのDavid MacKayの講演、25分。

— フランク・ダーノンクール
ソース

12

偏相関に基づく解釈は、すべての多変量分布に適用されるため、おそらく最も統計的に有用です。多変量正規分布の特殊なケースでは、ゼロ部分相関は条件付き独立に対応します。

この解釈は、Schur補数を使用して、共分散行列のエントリに関して濃度行列のエントリの式を取得することにより導き出すことができます。http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statisticsを参照してください

— vqv
ソース

11

共分散行列はすべての変数間の関係を表すことができますが、逆共分散は、要素と隣接要素の関係を示します（ウィキペディアによると、部分的/ペアごとの関係）。

ここから24:10に次の例を借ります。5つの質量が互いに接続され、6つのバネで回転することを想像してください。共分散行列にはすべての質量の相関が含まれます。ただし、逆共分散行列は、同じばね（隣接）で接続された質量の関係を示し、多くのゼロとその必要のない正の値を含みます。

— user4581
ソース

1

これはビデオのどこで説明されていますか？1時間です。ありがとう！

— ビングエン

あなたは正しい、その24:10に、私はCOV行列とその逆の性質を理解するために最良の例thatsのだと思う

— user4581

5

Bar-Shalom and Fortmann（1988）は、次のようにカルマンフィルター処理のコンテキストにおける逆共分散について言及しています。

... [T]これは逆共分散（または情報行列）の再帰です

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

...実際、情報フィルター [8、29、142] として知られる予測および更新方程式の完全なセットは、逆共分散および変換された状態ベクトルに対して開発できます。 $\mathbf{P}^{-1}\hat{\mathbf{x}}$

この本はGoogleで索引付けされています。

— 輝く星
ソース