線形判別分析とベイズ規則：分類

線形判別分析とベイズ規則の関係は何ですか？LDAは、グループ内分散とグループ分散間の比を最小化しようとすることで分類に使用されることを理解していますが、ベイズルールがどのように使用されるかわかりません。

classification discriminant-analysis bayes

— zca0
ソース

判別関数は、グループ間変動とグループ内変動率を最大化するように抽出されます。LDAの2番目のスタンドアロン段階である分類とは関係ありません。

— ttnphns

LDAの分類は次のようになります（ベイズの規則アプローチ）。[判別式の抽出については、こちらをご覧ください。]

ベイズの定理によれば、現在の点を観察しながらクラスを処理している求められる確率はであり、 $k$ $x$ $P(k|x) = P(k)*P(x|k) / P(x)$

–クラス無条件（バックグラウンド）確率。 –点無条件（バックグラウンド）確率。 -点の存在確率クラスでとdealedているクラスである場合、。 $P(k)$ $k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$ $k$

「現在のポイント観測する」が基本条件であるであるため、分母は省略できます。したがって、。 $x$ $P(x)=1$ $P(k|x) = P(k)*P(x|k)$

は、のネイティブクラスがある事前（分析前）確率です。はユーザーが指定します。通常、デフォルトでは、すべてのクラスは等しい = 1 / number_of_classesを受け取ります。計算するために、のネイティブクラスということ、すなわち後部（後分析）確率ある、1が知っておくべき。 $P(k)$ $x$ $k$ $P(k)$ $P(k)$ $P(k|x)$ $x$ $k$ $P(x|k)$

-確率それ自体-見つけることができません、判別式の場合、LDAの主な問題は連続変数であり、離散変数ではありません。この場合にを表し、それに比例する量が確率密度（PDF関数）です。ここに我々は、ポイントのために計算PDFに必要クラスで、において、の値によって形成された次元の正規分布 $P(x|k)$ $P(x|k)$ $x$ $k$ $PDF(x|k)$ $p$ $p$ 判別式。[ウィキペディアの多変量正規分布を参照]

P D F (x | k) = \frac{e^{- d / 2}}{(2 π)^{p / 2} \sqrt{| S |})}

$PDF(x|k) = \frac {e^{-d/2}} {(2\pi)^{p/2}\sqrt{\bf |S|})}$

ここで、 –点からクラス重心までの判別式空間でのマハラノビス距離の2乗[Wikipediaマハラノビス距離を参照] 。 – そのクラス内で観察される判別式間の共分散行列。 $d$ $x$ $\bf S$

ポイントは、LDAによってが最も高いクラスに割り当てられます。 $x$ $P(k|x)$

Note. This was the general approach. Many LDA programs by default use pooled within-class matrix $\bf S$ for all classes in the formula for PDF above. If so, the formula simplifies greatly because such $\bf S$ in LDA is identity matrix (see the bottom footnote here), and hence $\bf |S|=1$ and $d$ turns into squared euclidean distance (reminder: the pooled within-class $\bf S$ we are talking about is covariances between the discriminants, - not between the input variables, which matrix is usually designated as $\bf S_w$ ).

Addition. Before the above Bayes rule approach to classification was introduced to LDA, Fisher, LDA pioneer, proposed computing the now so called Fisher's linear classification functions to classify points in LDA. For point $x$ the function score of belonging to class $k$ is linear combination $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ , where $V1, V2,...V_p$ are the predictor variables in the analysis.

Coefficient $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$ , $g$ being the number of classes and $s_{vw}$ being the element of the pooled within-class scatter matrix of $p$ $V$ -variables.

$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$ .

Point $x$ gets assigned to the class for which its score is the highest. Classification results obtained by this Fisher's method (which bypasses extraction of discriminants engaged in the complex eigendecomposition) are identical with those obtained by Bayes' method only if pooled within-class covariance matrix is used with Bayes' method based on discriminants (see "Note" above) and all the discriminants are being used in the classification. The Bayes' method is more general because it allows using separate within-class matrices as well.

— ttnphns
ソース

This is Bayesian approach right? What is the Fisher's approach for this?

— zca0

Added to the answer upon your request

— ttnphns

+1 for distinguishing between Bayes' and Fisher's approach of LDA. I'm a new-comer in LDA, and the books I read teach me LDA in Bayes' approach, which classifies

X

$X$ to class

K

$K$ with the highest

p (K | X)

$p(K|X)$ , so I have to compute all the

p (K | X)

$p(K|X)$ for each class

K

$K$ , right? By Fisher's approach, I just need to figure out the discriminants and their corresponding coefs, and no need to compute the posterior for each class, right?

— avocado

And I think the Bayes' approach is more understandable, and why do we need to use the Fisher's approach?

— avocado

We don't need. Just for historical matter.

— ttnphns

Assume equal weights for the two error types in a two class problem. Suppose the two classes have a multivariate class conditional density of the classification variables. Then for any observed vector $x$ and class conditional densities $f_1(x)$ and $f_2(x)$ the Bayes rule will classify $x$ as belonging to group 1 if $f_1(x) \geq f_2(x)$ and as class 2 otherwise. The Bayes rule turns out to be a linear discriminant classifier if $f_1$ and $f_2$ are both multivariate normal densities with the same covariance matrix. Of course in order to be able to usefully discriminate the mean vectors must be different. A nice presentation of this can be found in Duda and Hart Pattern Classification and Scene Analysis 1973 (the book has recently been revised but I like particularly the presentation in the original edition).

— Michael R. Chernick
ソース