共分散行列の逆数はデータについて何と言っていますか？（直感的に）

の性質に興味があります。「がデータについて何と言っているか」について、誰でも直観的に話せますか？ $\Sigma^{-1}$ $\Sigma^{-1}$

編集：

返信ありがとう

いくつかの素晴らしいコースを受講した後、いくつかのポイントを追加したいと思います。

つまり、は方向沿った情報量です。 $x^T\Sigma^{-1}x$ $x$
双対性：のでそうである、正定である、我々は正則化最小二乗問題のためFenchelデュアルを導き出すことができるように、彼らはドット積規範ですので、より正確に、彼らはお互いのデュアル規範あり、二重問題の最大化を行います。条件に応じて、どちらかを選択できます。 $\Sigma$ $\Sigma^{-1}$
ヒルベルト空間：と列（および行）は同じ空間にます。したがって、または表現の間に利点はありません（これらの行列のいずれかが悪条件の場合） $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
ベイジアン統計：ノルムは、ベイジアン統計で重要な役割を果たします。それは我々が前に持っているどのくらいの情報決定すなわち、例えば、前の密度の共分散が似ているとき我々は（前またはおそらくジェフリーズ）非有益持っています $\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
頻度統計： Cramér–Raoバウンドを使用して、フィッシャー情報と密接に関連しています。実際、フィッシャー情報マトリックス（対数尤度とそれ自体の勾配の外積）は、Cramér–Raoによってバインドされています。つまり、 $\Sigma^{-1}\preceq \mathcal{F}$ （wrt正半正円錐、iewrt濃度）楕円体）。したがって、 $\Sigma^{-1}=\mathcal{F}$ の場合、最尤推定量は効率的です。つまり、データに最大の情報が存在するため、頻度主義体制が最適です。簡単な言葉で言えば、いくつかの尤度関数（尤度の関数形式は、データを生成する推定モデル、別名生成モデルに純粋に依存することに注意）の場合、最尤法は効率的で一貫した推定量であり、ボスのようなルールです。（それをやりすぎて申し訳ありません）

— アーリヤ
ソース

PCAは、小さな固有値ではなく大きな固有値を持つ固有ベクトルを取得すると思います。

— WDG

それはの列アサートに等しいであるため、（3）は、誤っておりのものであるのみ恒等行列に対して真である（最大順列）。

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

回答:

が分散の尺度であるように、これは精度の尺度です。 $\Sigma$

さらに詳しく言うと、は、変数が平均（対角要素）の周りにどのように分散され、他の変数（非対角要素）とどのように共存するかの尺度です。分散が大きいほど平均値から離れ、他の変数と（絶対値で）共変動するほど、それらが「一緒に移動する」傾向が強くなります（同じまたは反対の方向に共分散の符号）。 $\Sigma$

同様に、は、変数がどの程度密にクラスター化されているか（対角要素）、および変数が他の変数と共変動しない範囲（非対角要素）の尺度です。したがって、対角要素が高いほど、変数は平均の周りに密集します。非対角要素の解釈はより微妙であり、その解釈の他の答えを参照します。 $\Sigma^{-1}$

— 小道具
ソース

非対角要素に関する最後のステートメントに対する強力な反例は、2次元の最も単純な自明でない例、より大きな非対角値が対応より相関係数の極値あなたが言っているように見えるものの反対です。

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuberそうです。最後の文の「絶対」という言葉を取り除くべきです。ありがとう

— 小道具

感謝しますが、それでも問題を解決できません。逆の非対角要素と共変動の間に主張する関係は存在しません。

— whuber

@whuberそうだと思う。あなたの例では、非対角要素は負です。したがって、が増加すると、非対角要素が減少します。これを確認するには、次の点に注意してください。で非対角要素はです。接近非対角要素が接近と非対角要素の誘導体に対して負です。

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— 小道具

私の非対角要素が正の場合

ρ < 0.

$\rho\lt 0.$

— whuber

逆の要素を示すために上付き文字を使用すると、は他の変数と相関しない変数の成分の分散であり、は、変数と部分相関で、他の変数を制御します。 $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— レイ・クープマン
ソース