フィッシャー基準の重みを計算する方法は？

パターン認識と機械学習を研究していますが、次の質問にぶつかりました。

等しい事前クラス確率P （D 1）= P （D 2）= 1の 2クラス分類問題を考えます

$$P(D_1)=P(D_2)= \frac{1}{2}$$

によって与えられた各クラスのインスタンスの分布

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

フィッシャー基準の重みを計算する方法は？

更新2：私の本が提供する計算された重量は次のとおりです $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$。

更新3： @xeonが示唆するように、フィッシャーの判別式の予測線を決定する必要があることを理解しています。

更新4：レッツ最高のことを判別する方法の発見線形次いでフィッシャー、投影線の方向であるWは、基準関数が最大となるためです。残りの課題は、Wベクトルを数値的に取得する方法 です。$W$$W$$W$

リンクした論文（Mika et al。、1999）に従って、いわゆる一般化レイリー商を最大化するを見つけなければなりません。$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

ここで、平均は、共分散C 1、C 2、$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

溶液を解くことにより求めることができる一般化固有値問題 最初の固有値を計算することによりλ解くことによって DET （S Bを - λ S W）= 0 、次いで固有ベクトルについて解くW。あなたのケースでは、 S B - λ S W = （16 - 3 λ 16 16 16 - 2 λ）

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$ 行列式、この2×2行列の手で計算することができます。

最大の固有値を持つ固有ベクトルは、レイリー商を最大化します。代わりに手で計算を行うので、私が使用してPythonで一般化固有値問題を解決scipy.linalg.eigして得た あなたが本の中で見つかったソリューションとは異なります。以下に、見つけた重量ベクトルの最適な超平面（黒）と、本で見つかった重量ベクトルの超平面（赤）をプロットしました。

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Dudaらに従って。（パターンクラシフィケーション）@lucasの代替ソリューションがあり、この場合、手作業で非常に簡単に計算できます。（この代替ソリューションが役立つことを期待してください!! :)）

2クラスLDAの目的は次のとおりです。

$\frac{w^TS_Bw}{w^TS_Ww}$

$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

この一般化されたローリー商の解は、一般化された固有値プローブです。

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: Pattern Classification by Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

Alternatively, it can be solved by finding eigen vector to the generalized eigen value problem. $S_Bw = \lambda S_Ww$

A polynomial in lambda can be formed by $determinant(S_B - \lambda S_W)$ and the solutions to that polynomial will be the eigen value for $S_Bw = \lambda S_Ww$. Now lets say you got a set of eigen values $\lambda_1,\lambda_2, ..., \lambda_n,$ as roots of the polynomial. Now substitute $\lambda = \lambda_i, i \in \{1,2,..,n\}$ and get the corresponding eigen vector as solution to the linear system of equations $S_Bw_i = \lambda_i S_Ww_i$. By doing this for each i you can get a set of vectors $\{w_i\}_{i=1}^{n}$ and it is a set of eigen vectors as solutions.

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$, So eigen values are roots to polynomial $6\lambda^2 - 80\lambda$.

So $\lambda=$ 0 and 40/3 are the two solutions. For LDA, eigen vector corresponding to highest eigen value is the solution.

Solution to system of equation $(S_B - \lambda_i S_W)w_i = 0$ and $\lambda_i = 40/3$

which turns out to be $\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Solution to the above system of equation is $\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ which is same as previous solution.

Alternatively, we can say that $\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ lies in the null space of $\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$.

For two class LDA, eigen vector with highest eigen value is the solution. In general, for C class LDA, the first C - 1 eigen vectors to highest C - 1 eigen values constitute the solution.

This video explains how to compute eigen vectors for simple eigen value problem. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Following is an example. http://www.sosmath.com/matrix/eigen2/eigen2.html

Multi-class LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Calculating Null Space of a matrix: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix