最小の共分散行列を見つけるための適切な指標

教科書では、2つの共分散行列を比較するために正定性（準正定性）を使用していることを読んでいます。 $A-B$ がpdの場合、 $B$ は $A$ よりも小さいという考えです。しかし、私はこの関係の直感を得るために苦労していますか？

ここに同様のスレッドがあります：

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

行列を比較するために明確性を使用する直感とは何ですか？

答えはいいですが、直感には対応していません。

ここに私が混乱する例があります：

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

ここで、差の行列式は-25なので、関係はpdまたはpsdでもなく、最初の行列は最初の行列よりも大きくありませんか？

2つの3 * 3共分散行列を比較して、どちらが最小かを確認したいだけですか？それらを比較するためにユークリッドノルムのようなものを使用する方が私にとってより直感的に見えるでしょうか？ただし、これは、上記の最初のマトリックスが2番目のマトリックスよりも大きいことを意味します。さらに、共分散行列の比較に使用されるpd / psd基準のみが表示されます。

誰かがpd / psdがユークリッドノルムなどの別の尺度を使用するよりも優れている理由を説明できますか？

私はまた、数学フォーラムにこの質問を投稿しました（何が最善だったのかわかりません）。これがルールに違反しないことを願っています。

/math/628135/comparing-two-covariance-matrices

— バズ
ソース

正（半）の明確さの背後にある直観が考慮されている場合は、これを読むことをお勧めします。2つの分散aとを比較するとb、a-bが正の場合、変動を除去bしてもaに残っている「実際の」変動が残っていると言えaます。同様に、多変量分散（=共分散行列）Aとの場合Bです。A-Bが正定の場合、それはA-Bベクトルの構成がユークリッド空間で「実際」であることを意味します。つまり、Bから削除してAも、後者は実行可能な変動性です。

— ttnphns 2014年

何をしてください、あなたは 2つの共分散行列の「最小」によって意味ですか？

— whuber

こんにちはwhuber、共分散行列は競合する推定量に関連しています。最小の分散を持つ推定量を選択したいと思います。（これにより状況が明確になりますか？）

— Baz

Baz：では、推定量の分散を直接比較してみませんか？

— Glen_b-モニカを2014

こんにちは、ここでメソッドが設定され、分散（共分散を含む）と呼ばれる式が与えられます。しかし、分散のみを比較する場合でも、これにはマトリックス値の比較と同様の問題があるベクトル値の比較が含まれますか？

— Baz

回答:

参照する行列の順序は、ロウナー次数と呼ばれ、正定行列の研究でよく使用される半順序です。正定（posdef）行列の多様体上の幾何学の本の長さの扱いはここにあります。

最初に、直観についての質問に取り組みます。（対称）行列 $A$ posdefである場合 $c^T A c\ge 0$ のためのすべての $c \in \mathbb{R}^n$ 。場合 $X$ 共分散行列を持つ確率変数（RV）である $A$ は、 $c^T X$ そのいくつか一薄暗い部分空間上に投影し、（に比例する）である $\mathbb{Var}(c^T X) = c^T A c$ 。これを適用する $A-B$ Qでは、1つ目は共分散行列、2つ目は、共分散行列持つrvよりも小さな分散で、すべての方向に射影するcovar行列 $B$ を持つ確率変数です。これにより、この順序付けは部分的な順序にしかできないことが直感的に明らかになります。非常に異なる分散で異なる方向に投影される多くのrvがあります。一部のユークリッド基準の提案には、このような自然な統計的解釈がありません。 $A$

どちらの行列にも行列式ゼロがあるため、「混乱する例」は混乱します。したがって、それぞれについて、常に0に投影される 1つの方向（固有値0の固有ベクトル）があります。ただし、この方向は2つの行列で異なるため、比較できません。

Loewner順序が定義されているように $A \preceq B$ 、 $B$ より明確より正である $A$ と、 $B-A$ posdefあります。これは部分的な順序です。一部のposdef行列では、 $B-A$ も $A-B$ もposdefではありません。例は次のとおりです：

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$ これをグラフィカルに表示する1つの方法は、2つの楕円を使用してプロットを描画することですが、原点に中心を置き、標準的な方法で行列に関連付けます（各方向の半径距離はの分散に比例します）。その方向に投影する）：

これらの場合、2つの楕円は合同ですが、回転は異なります（実際には、角度は45度です）。これは、行列 $A$ と $B$ が同じ固有値を持っているが、固有ベクトルは回転しているという事実に対応しています。

この答えは楕円の特性に大きく依存するため、次の条件付きガウス分布の背後にある直感は何ですか？楕円を幾何学的に説明すると役立ちます。

$A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

$2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

マトリックスを注文できる最後の例を1つ挙げます。

この場合の2つの行列は、

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
ソース

@kjetil b halvorsenは、部分的な順序付けとしての正の半明確性の背後にある幾何学的直観について、すばらしい議論を提供します。私は、同じ直感について、より汚い手で見てみましょう。分散行列を使ってどのような計算をしたいかから始まるもの。

2つの確率変数とがあるとします。それらがスカラーの場合、それらの分散をスカラーとして計算し、スカラー実数およびを使用して明白な方法でそれらを比較できます。したがって、および場合、確率変数分散は分散より小さいと言います。 $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

一方、とがベクトル値の確率変数（2つのベクトルであるとしましょう）の場合、それらの分散をどのように比較するかはそれほど明確ではありません。それらの分散は次のとおりです：これら2つのランダムなベクトルの分散をどのように比較しますか？私たちができることの1つは、それぞれの要素の分散を比較することです。そこで、我々はの分散と言うことができの分散よりも小さい：同じように実数を比較することにより、及び $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ 。だから、多分私達はの分散と言うことができあるの分散の各要素の分散場合あるの対応する要素の分散。これは言うようになるの対角要素の各場合あるの対応する対角要素。

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

この定義は、最初は赤面するように思われます。さらに、検討している分散行列が対角行列である限り（つまり、すべての共分散が0である限り）、半正定性を使用するのと同じです。つまり、分散がように見える場合次には正の半定値（つまり、）は、およびと言うのと同じです。共分散を導入するまでは、すべてが良さそうです。この例を考えてみましょう：

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ 次に、対角線のみを考慮した比較を使用して、、そして実際、要素であることは依然として真実です。やようなベクトルの要素の加重和を計算すると、と言っていても。

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

変だよね？ときとスカラーであり、次いで、保証する任意の固定された、非ランダムのための、。 $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

何らかの理由で、このような確率変数の要素の線形結合に関心がある場合は、分散行列の定義を強化したい場合があります。と言いたいのは、が真である場合に限り、どの固定数とを選んだとしても。これは、対角線のみの定義よりも強力な定義です。これは、すると、すると表示されるためです。。 $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

この2番目の定義は、すべての可能な固定ベクトルに対して場合に限り、とであり、分散を比較する通常の方法です。正の半正基づく行列：最後の式と正の半定値の定義を見て、分散行列のの定義がを保証するように正確に選択されていることを確認しますは、のいずれかを選択し場合、つまりが正の場合のみ-明確。 $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

したがって、あなたの質問への答えは、が正の半正定値である場合、分散行列は分散行列より小さいと言うことです。彼らは、基礎となるランダムベクトルの要素の線形結合の分散の比較に関心があるためです。どの定義を選択するかは、計算に興味のあるものと、その定義がそれらの計算にどのように役立つかに従います。 $V$ $W$ $W-V$

— ビル
ソース