LDAの代数。変数の線形判別分析と線形判別分析

どうやら、

フィッシャー分析の目的は、クラス内の分散を最小限に抑えながら、クラス間の分離を同時に最大化することです。したがって、変数の識別力の有用な尺度は、対角量与えられます。$B_{ii}/W_{ii}$

http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html

p x pBetween（B）およびWithin-Class（W）行列のサイズ（）は、入力変数の数で与えられることを理解していますp。これを考えると、単一変数の「識別力の有用な尺度」にするにはどうすればよいでしょうか。行列BとWを構築するには少なくとも2つの変数が必要であるため、それぞれのトレースは複数の変数を表します。$B_{ii}/W_{ii}$

更新：$B_{ii}/W_{ii}$は、和が暗示されるトレース上のトレースではなく、マトリックス要素$B_{ii}$を割ったものだと考えるのは正しい$W_{ii}$でしょうか？現在、それが式と概念を調和させることができる唯一の方法です。

質問への回答として、線形判別分析（LDA）についての短い物語があります。

1つの変数とそれによって区別する$k$グループ（クラス）がある場合、これはANOVAです。変数の識別力は、$SS_\text{between groups} / SS_\text{within groups}$、または$B/W$。

我々が持っている場合には変数を、これはMANOVAです。変数が合計サンプルでもグループ内でも相関しない場合、上記の識別力B / Wは同様に計算され、t r a c e （S b）/ t r a c e （S w）、ここで、S wはプールされたグループ内散布行列（つまり、各グループの重心を中心とした変数のk SSCP行列の合計）です。S $p$$B/W$$trace(\bf{S_b})$$/trace(\bf{S_w})$$\bf{S_w}$$k$ p x p $\bf{S_b}$は、グループ間散布行列。ここで、S tは、データ全体の散布行列です（グランドセントロイドを中心とする変数のSSCP行列です。 sample_size-1によって）$=\bf{S_t}-\bf{S_w}$$\bf{S_t}$

変数間に何らかの相関がある場合-そして通常ある場合-上記のは、スカラーではなく行列であるS − 1 w S bで表されます。これは、単にこの「全体的な」差別の背後に隠されたp個の識別変数があり、部分的にそれを共有しているためです。$B/W$$\bf{S_w^{-1} S_b}$$p$

今、我々は、MANOVAに水没したいと分解することができる新しいと互いに直交に潜在変数（それらの数であり、M I N （P 、K - 1 ））と呼ばれる判別関数または判別式を - 1は最強でありますプリシパルコンポーネント分析で行うように。識別力を失うことなく、元の相関変数を非相関判別式に置き換えます。次の判別式はそれぞれ弱くなるので、最初のmの小さなサブセットを受け入れることができます$\bf{S_w^{-1} S_b}$$min(p,k-1)$$m$識別力を大きく失うことのない識別（これも、PCAの使用方法と同様）。これは、次元削減手法としてのLDAの本質です（LDAはベイズの分類手法でもありますが、これはまったく別のトピックです）。

したがって、LDAはPCAに似ています。PCAは「相関性」を分解し、LDAは「分離性」を分解します。LDAでは、「分離度」を表す上記のマトリックスは対称ではないため、バイパス代数トリックを使用してその固有値と固有ベクトルを見つけます1。各判別関数（潜在変数）の固有値は、その判別力B / Wです。最初の段落で述べました。また、判別式は、相関関係はありませんが、元の変数空間に描かれた軸と幾何学的に直交していないことに言及する価値があります。$^1$$B/W$

あなたが読みたいかもしれないいくつかの潜在的に関連するトピック：

LDAは MANOVAで潜在構造の分析に「深く」なり、Canonical相関分析の特定のケースです（それらの間の正確な等価性など）。 LDAがオブジェクトを分類する方法とフィッシャーの係数は何ですか。（私はそれらを覚えているので、現在自分の回答にのみリンクしていますが、このサイトには他の人からの多くの良い回答もあります）。

LDA抽出フェーズの計算は次のとおりです。固有値（ Lの） S - 1、W SのBは対称行列のと同じである（U - 1）' S B U - 1、 Uはあるコレスキールートの S W：上三角行列となる U ' U = S w。固有ベクトルとして S - 1 wの SのB、それらはによって与えられる$^1$ $\bf L$$\bf{S_w^{-1} S_b}$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$$\bf{S_w}$$\bf{U'U=S_w}$$\bf{S_w^{-1} S_b}$、ここで Eは上記の行列の固有ベクトル（U − 1）′ S b U − 1です。（注：三角形である Uは、低レベル言語を使用して-パッケージの標準の汎用「inv」関数を使用するよりも速く反転できます。）$\bf{V=U^{-1} E}$$\bf E$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$

説明の回避策、固有値分解オブ方法（例えば、SPSSに）いくつかのプログラムで実現され、他のプログラムでほんの少し遅いこと、「準ZCA白化」方法が実現されつつ、同じ結果を与え、他の場所で説明されています。ここに要約する：のためのマトリックスをZCAが白化得るS wが -対称SQルート。S - 1 / 2ワット（固有値分解を介して行われているもの）。その後の固有値分解S - 1 / 2 wの S B S - 1 $\bf{S_w^{-1} S_b}$$\bf{S_w}$$\bf S_w^{-1/2}$（対称行列である）判別固有値収率Lと固有ベクトルAを、それによって判別固有ベクトルV=S - 1 / 2 wの A。「準zcaホワイトニング」メソッドは、SwおよびSb散布行列を使用する代わりに、ケースワイズデータセットの特異値分解を介して実行されるように書き換えることができます。計算精度（特異点に近い状況で重要）を追加しますが、速度は犠牲になります。$\bf S_w^{-1/2} S_b S_w^{-1/2}$$\bf L$$\bf A$$\bf V= S_w^{-1/2} A$$\bf S_w$$\bf S_b$

OK、通常はLDAで計算される統計を見てみましょう。固有値に対応する正準相関は。判別式の固有値はその判別式のANOVAのB/Wであるのに対し、正準相関の2乗はそのANOVAのB/T（T =総平方和）です。$\bf \Gamma = \sqrt{L/(L+1)}$$B/W$$B/T$

固有ベクトル列を（SS = 1に）正規化すると、これらの値は、axes-variablesからaxes-discriminantsへの回転の方向余弦として見ることができます。そのため、元の変数によって定義された散布図上の軸として判別式をプロットできます（その変数の空間の軸としての固有ベクトルは直交しません）。$\bf V$

標準化されていない判別係数または重みは、単にスケーリングされた固有ベクトル。これらは、中心の元の変数による判別式の線形予測の係数です。判別関数自体の値（判別スコア）はXCです。ここで、Xは中心化された元の変数（各列が中心化された入力多変量データ）です。判別式は無相関です。また、上記の式で計算すると、プールされたクラス内共分散行列が単位行列であるという特性もあります。$\bf {C}= \it \sqrt{N-k} ~\bf V$$\bf XC$$\bf X$

入力変数が非ゼロ手段である持っていた場合に判別式を非標準化係数を伴うと非センターに許可任意の定数項、D 、I Gは（ˉ X）でありますp変数の平均の対角行列であり、∑ pは変数全体の合計です。$\bf {C_0} \it = -\sum^p diag(\bar{X}) \bf C$$diag(\bar{X})$$\sum^p$

で標準化判別係数、判別に変数の寄与は、変数が異なる分散を有するという事実に調整し、異なる単位で測定されるかもしれません。（diag（Sw）はSwの対角をもつ対角行列）「標準化」されているにもかかわらず、これらの係数は1を超えることがあります（混同しないでください）。入力変数が各クラス内で個別にz標準化された場合、標準化係数=非標準化係数。係数を使用して判別式を解釈できます。$\bf {K} \it = \sqrt{diag \bf (S_w)} \bf V$$\bf S_w$

変数と判別式の間のプールされたグループ内相関（ "構造行列"、 "負荷"とも呼ばれる）は、与えられます。相関関係は共線性の問題に影響されず、変数の寄与の評価および判別式の解釈における代替（係数の）ガイダンスを構成します。$\bf R= \it diag \bf (S_w)^{-1} \bf S_w V$

ここで、虹彩データの判別分析の抽出フェーズの完全な出力を参照してください。

読む本より正式ビットを説明し、私はここにいたのと同じものを詳細に素敵後で答えを。

この質問は、LDAを行う前にデータを標準化する問題を扱います。