合計（クラス内+クラス間）散布図行列の導出

私はPCAとLDAの手法をいじっていましたが、ある時点で立ち往生しています。私はそれを見ることができないほど単純だと感じています。

クラス内（）およびクラス間（）の散布行列は、次のように定義されます。 $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

総散乱行列は次のように与えられます。 $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

Cは、クラスの数であり、Nはサンプル数であり、サンプルで i番目のクラスの平均であり、全体平均です。 $x$ $\mu_i$ $\mu$

を導き出そうとしている間に、私は次のようになりました。 $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

用語として。これはゼロにする必要がありますが、なぜですか？

確かに：

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
ソース

答えは、平均の周りの値の偏差を合計しており、その合計はゼロであるということです。しかし、正確には

、

、および

何ですか？どのようにしている

と

に関連

と

？回答の質は推測の精度に依存しますが、非常に多くの推測を行わざるを得ません。

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@whuber：まったくその通りです。質問を修正しました。

— nimcap

あなたが仮定する場合

\frac{1}{N} \sum_{t = 1}^{N} {バツ}_{t}^{私} = μ_{私}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

それから

\sum_{私 = 1}^{C} \sum_{t = 1}^{N} （ {バツ}_{t}^{私} - μ_{私} ） （ μ_{私} - μ ）^{T} = \sum_{私 = 1}^{C} （ \sum_{t = 1}^{N} （ {バツ}_{t}^{私} - μ_{私} ） ） （ μ_{私} - μ ）^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

数式が保持されます。同様に2番目の用語を扱います。

— mpiktas
ソース

（+1）最初の項の転置である2番目の項もゼロでなければなりません:-)。

— whuber

@whuber、はい、それも:)

— mpiktas

こんにちは、私は仮定がなぜ成り立つのか分かりませんか？誰かがそれを説明できますか？

— Mvkt

@Mvktの定義ほど仮定ではありません

μ_{i}

$\mu_i$ 私は考えます。それは言うことです：

μ_{i}

$\mu_i$ はグループの観測値の平均です

i

$i$ 。OPは表記法を説明していないため、答えは「仮定」を使用することを期待しているので、グループの平均は

μ_{i}

$\mu_i$ 。

— ビンセント