線形判別分析へのベイジアンとフィッシャーのアプローチ

LDAを実行する2つのアプローチ、ベイジアンアプローチとフィッシャーアプローチを知っています。

データ $(x,y)$ とします。ここで、 $x$ は $p$ 次元予測子であり、 $y$ は $K$ クラスの従属変数です。

ベイジアンアプローチにより、事後を計算します

p (y_{k} | x) = \frac{p (x | y_{k}) p (y_{k})}{p (x)} \propto p (x | y_{k}) p (y_{k})

$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$ 、および本で述べられているように、

p (x | y_{k})

$p(x|y_k)$ がガウスであると仮定すると、

k

$k$ 番目のクラスの判別関数は

、Iが見ることができる

の線形関数である

ので、すべてのために、

クラス我々は

判別関数線形。

\begin{aligned} f_{k} (x) & = \ln p (x | y_{k}) + \ln p (y_{k}) \\ = \ln [\frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ_{k})^{T} Σ^{- 1} (x - μ_{k}))] + \ln p (y_{k}) \\ = x^{T} Σ^{- 1} μ_{k} - \frac{1}{2} μ_{k}^{T} Σ^{- 1} μ_{k} + \ln p (y_{k}) \end{aligned}

$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$

f_{k} (x)

$f_k(x)$

x

$x$

K

$K$

K

$K$

$x$ $(K-1)$ $W$

私の質問は

$f_k(x)$ $x^*$ $f_k(x)$ $x$

$f_k(x)$

更新

ESLブックによると、@ amoebaのおかげで、私はこれを見つけました：ここに画像の説明を入力してください

$\Sigma$ $f_k(x)$

$\Sigma^{-1}\mu_k$ $x$

もう一度更新

セクション4.3.3から、これらの投影法は次のように導き出されました。

ここに画像の説明を入力してください

$W$ $W$ $K$ $W$

discriminant-analysis

— アボカド
ソース

あなたは二つのことを混ぜ合わせて質問します。前回の質問について、私たちの会話を消化していないと思います。最初に説明するのは、分類へのベイジアンアプローチです（「LDAへのベイジアンアプローチ」ではありません）。このアプローチは、（1）分類子としての元の変数とともに、または（2）分類子としてのLDAで取得された判別子とともに使用できます。それではフィッシャーのアプローチは何ですか？

— ttnphns 2014年

（続き）さて、「Fisher's LDA」は単にK = 2のLDAです。そのようなLDA内で分類を行うとき、フィッシャーは分類を行うための彼自身の公式を発明しました。これらの式は、K> 2でも機能します。ベイズのアプローチがより一般的であるため、彼の分類方法は現在ほとんど使用されていません。

— ttnphns 2014年

@ttnphns、私が混乱している理由は、私がこのベイズのアプローチを使用してLDAについて話しているほとんどすべての本が、生成モデルとしてLDAを講義しているためです。。

— アボカド2014年

@loganecolss：以下の私の答えを見ましたか？それについて質問がありますか？コメントでもう一度質問していることを説明したので、少し混乱しています。"Between-within variance"アプローチは、等しい共分散を想定した "Bayesian approach"と数学的に同等です。必要に応じて、これを驚くべき数学的定理と考えることができます。証明は、オンラインで無料で入手できるHastieの本、および他のいくつかの機械学習の教科書にも記載されています。したがって、「LDAを行うための唯一の確実な方法」が何を意味するのかはわかりません。これら2つの同一の方法。

— アメーバはモニカ

@loganecolss：信じてください、それらは同等です:)はい、あなたは予測を導き出すことができるはずですが、等しい共分散行列の追加の仮定が必要です（私の回答で書いたように）。以下の私のコメントを参照してください。

— アメーバはモニカを

短い非公式の回答のみを提供します。詳細については、統計学習の要素のセクション4.3を参照してください。

アップデート：「Elementsは」非常に詳細にカバーに起こる正確にあなたがあなたの更新で書いたものを含め、ここで求めている質問。関連するセクションは4.3、特に4.3.2-4.3.3です。

（2）2つのアプローチは相互に関連していますか？

$x$

$x$ $x$

重要な洞察は、1つのすべてのクラスが同じ共分散持っていることを前提とした場合の方程式はかなり簡素化することである[ 更新：あなたはすべてに沿って、それを想定した場合、これは誤解の一部であったかもしれません]。その場合、決定境界は線形になります。そのため、この手順は線形判別分析（LDA）と呼ばれます。

この場合、式は実際にはフィッシャーが彼のアプローチを使用して計算したものとまったく同じになることを理解するには、いくつかの代数的操作が必要です。それを数学的な定理と考えてください。すべての計算については、Hastieの教科書を参照してください。

（1）ベイジアンアプローチを使用して次元削減を実行できますか？

「ベイジアンアプローチ」によって、各クラスで異なる共分散行列を処理することを意味する場合、そうではありません。少なくとも私が上で書いたもののため、それは（LDAとは異なり）線形次元削減ではありません。

$\Sigma^{-1} \mu_k$ $k$ $\boldsymbol \Sigma^{-1} \mathbf{M}$ $\mathbf{M}$ $\mu_k$

— アメーバはモニカを復活させると言う
ソース

+1。QDA stats.stackexchange.com/a/71571/3277について言及している自分の回答にもリンクする場合があります。

— ttnphns 2014年

私の質問への対応の一部として+1 2）。中間分散分析を行うことにより、元の変数を射影し、それらの判別式を取得するための最良の方向を見つけることができることを知っています。私が今苦労しているのは、その間の分散比を参照せずに、ベイジアンを使用してそれらの投影方向を見つけることができるかどうかです。

X

$X$

— アボカド2014年

@loganecolss：私が言ったように、すべてのクラスが同じ共分散行列を持っているとさらに仮定する必要があります！次に、ベイジアンアプローチ+この仮定から始めて、標準のLDA予測を導出できます。考えはを対角化することです。これについては、統計学習の要素、セクション4.3で詳しく説明しています。

Σ

$\boldsymbol \Sigma$

— アメーバはモニカを

後でそのセクションを読みます。あなたが言ったように、すべてのクラスが同じ共分散行列を持っていると仮定して、私は私の投稿で書いたものである関数を導き出すことができますよね？そして、は確かに線形関数であり、あなたのコメントによれば、はLDA射影行列であるべきですか？

f_{k} (x)

$f_k(x)$

f_{k} (x)

$f_k(x)$

x

$x$

Σ^{- 1} μ_{k}

$\Sigma^{-1}\mu_k$

— アボカド2014年

セクション4.3のクリップを追加して投稿を更新します

— アボカド