共分散行列のランクが最大

この質問で述べたように、共分散行列の最大ランクはで、はサンプルサイズです。したがって、共分散行列の次元がサンプルサイズに等しい場合、それは特異です。共分散行列の最大ランクからを引く理由がわかりません。 $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— user3070752
ソース

直観を得るには、3Dでポイントについて考えてください。これらの点が存在する部分空間の次元は何ですか？それらを線（1D部分空間）に合わせることができますか？または、平面（2D部分空間）が必要ですか？

n = 2

$n=2$

— アメーバは、2015

あなたはがランク1の共分散行列につながることを理解していますか？さて、ポイントを取りましょう。常に2D平面にフィットできることがわかりますか？

n = 2

$n=2$

n = 3

$n=3$

— アメーバは、モニカーを復活させる

@amoebaあなたの例は明確でしたが、あなたの例の超平面のフィッティングと共分散行列の関係は理解できませんか？

— user3070752

遅れて申し訳ありません;）

— user3070752

データポイントが与えられたサンプル共分散行列の不偏推定量はここではすべてのポイントの平均です。をとして示しましょう。因子ランクを変更せず、和の各項は（定義によって）ランク持つ次のように問題の核心であるので、。 $n$ $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$

C = \frac{1}{n - 1} \sum_{私 = 1}^{n} （ {バツ}_{私} - \bar{バツ} ） （ {バツ}_{私} - \bar{バツ} ）^{⊤} 、

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

なぜ持って、ランクとしませランク、我々が合算されているので、それが思われるよう rank-行列を？ $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

答えは、が独立していないために起こるということです。構成上、です。したがって、を知っている場合、最後に残っているは完全に決定されます。我々が加算されていない独立rank-行列を、我々は加算されて独立rank-行列を、次いで、1つの以上の追加rank-完全直線休止することによって決定されるマトリックス。この最後の追加は、全体的なランクを変更しません。 $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

を書き換えて、これを上記の式にこれを直接見ることができます：これで、合計には項しか残っておらず、合計が最大でランクになることが明らかになります。 $\sum\z_i = 0$

z_{n} = - \sum_{私 = 1}^{n - 1} z_{私} 、

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

\sum_{私 = 1}^{n} z_{私} z_{私}^{⊤} = \sum_{私 = 1}^{n - 1} z_{私} z_{私}^{⊤} + （ - \sum_{私 = 1}^{n - 1} z_{私} ） z_{n}^{⊤} = \sum_{私 = 1}^{n - 1} z_{私} （ z_{私} - z_{n} ）^{⊤} 。

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

ところで、この結果は、共分散の不偏推定量の因子がではなくである理由を示唆しています。 $\frac{1}{n-1}$ $\frac{1}{n}$

上記のコメントで示唆した幾何学的な直観は、1D線を2Dの任意の2点に常に当てはめることができ、2D平面を3Dの任意の3点に常に当てはめることができる、つまり部分空間の次元は常に ; これが機能するのは、ポイントに合わせるためにこの線（および平面）を「移動」できると想定しているためです。を通過するようにこの線（または平面）を「配置」することは、上記の代数的引数の中央揃えに相当します。 $n-1$ $\bar \x$

— アメーバはモニカを復活させると言う
ソース