線形、二次、フィッシャーの判別分析における出典の不一致

私は判別分析を勉強していますが、いくつかの異なる説明を調整するのに苦労しています。私は何かを見逃しているに違いないと私は信じています。これまでこのレベルの矛盾に遭遇したことがないからです。とはいえ、このWebサイトでの判別分析に関する質問の数は、その複雑さを証明しているようです。

いくつかのクラスのLDAとQDA

私の主な教科書は、Johnson＆Wichern Applied Multivariate Statistical Analysis（AMSA）とこれに基づく私の先生のメモです。2つのグループの設定は無視します。これは、この設定の簡略化された式が少なくともいくつかの混乱を引き起こしているためです。この情報源によると、LDAとQDAは、予想誤分類コスト（ECM）に基づく分類ルールのパラメトリック（多変量正規性を想定）拡張として定義されています。ECMは、新しい観測値xを任意のグループに分類するための条件付き予想コストを合計し（誤分類コストと事前確率を組み込んで）、これを最小化する分類領域を選択します。ここで

$$ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]$$ $P(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}$、$f_i(\boldsymbol{x})$は人口密度、$R_k$はグループkの観測値のセット、$c$はコスト、$p_i$は事前確率です。次に、新しい観測値を、内側の項が最小であるグループ、または内側の項の省略された部分p_k f_k（\ boldsymbol {x}）$p_k f_k(\boldsymbol{x})$が最大であるグループに割り当てることができます。

この分類規則は、「事後確率を最大化するもの」（sic AMSA）に相当すると思われます。これは、私が言及したベイズのアプローチであるとしか想定できません。これは正しいです？そして、ECMは古い方法です。それが他の場所で発生するのを見たことがないからです。

正規母集団の場合、このルールは2次判別スコアに簡略化されます：。

$$d_i^Q(\boldsymbol{x}) = -\frac{1}{2} log(\boldsymbol{\Sigma_i}) -\frac{1}{2} (\boldsymbol{x - \mu_i})^T \boldsymbol{\Sigma}_i^{-1}(\boldsymbol{x - \mu_i}) + log(p_i)$$

これは、112ページの「統計学習の要素（ESL）の式4.12」と同等のようですが、スコアではなく二次判別関数として記述されています。さらに、多変量密度の対数比（4.9）を介してここに到着します。これはベイズのアプローチの別の名前ですか？

共分散が等しいと仮定すると、式は線形判別スコアをさらに単純化します。

$$d_i(\boldsymbol{x}) = \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1}\boldsymbol{x} -\frac{1}{2} \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu_i} + log(p_i)$$

この式は、ESL（4.10）とは異なります。最初の項が逆になっています：。ESLバージョンは、Rの統計学習にリストされているバージョンでもあります。さらに、AMSAで提示されるSAS出力では、定数と係数で構成される線形判別関数が記述されていベクトル、ESLバージョンと一見一貫性があります。$x^T \boldsymbol{\Sigma}^{-1}\mu_k$$0.5 \bar{X}_j^T COV^{-1}\bar{X}_j + ln \text{ prior}_j$$COV^{-1}\bar{X}_j$

この矛盾の背後にある理由は何でしょうか？

判別式とフィッシャーの方法

注：この質問が大きすぎると思われる場合は、このセクションを削除して新しい質問を開きますが、前のセクションに基づいています。テキストの壁に関係なくお詫び申し上げます。私はそれをいくらか構造化するために最善を尽くしましたが、この方法に関する私の混乱がロジックのかなり奇妙なジャンプにつながったと確信しています。

AMSAの本では、フィッシャーの手法についても、いくつかのグループについて説明しています。しかし、ttnphnsは指摘している複数 回 FDAは、単に二つのグループとLDAであること。では、このマルチクラスFDAとは何でしょうか。おそらくFDAは複数の意味を持つことができますか？

AMSAはフィッシャーの判別式をの固有ベクトルとして説明し、の比率を最大化します。線形結合は、サンプル判別式（）です。分類のために、の最小値を持つグループkを選択しますここで、rは使用する判別式の数です。すべての判別式を使用する場合、このルールは線形判別関数と同等になります。$\boldsymbol{W^{-1}B}$$\boldsymbol{\frac{\hat{a}^TB\hat{a}}{\hat{a}^TW\hat{a}}}$$\boldsymbol{\hat{e}_ix}$$min(g-1, p)$$\sum_{j=1}^{r}[\boldsymbol{\hat{e}_j^T}(\boldsymbol{x}-\boldsymbol{\bar{x}}_k)]^2$

LDAに関する多くの説明は、AMSAの本でFDAと呼ばれている方法論を説明しているようです。つまり、この間/内の変動性の側面から始まります。BWマトリックスの分解ではない場合、FDAは何を意味しますか？

教科書が判別分析の次元削減の側面について言及するのはこれが初めてですが、このサイトのいくつかの 回答はこの手法の2段階の性質を強調していますが、1つしかないため、これは2つのグループ設定では明確ではありません。弁別。上記の式がマルチクラスLDAおよびQDAであることを考えると、判別式がどこに現れるのかはまだわかりません。

このコメントは特に混乱し、ベイズ分類は基本的に元の変数に対して実行できると指摘しました。しかし、本とここで指摘されているように、FDAとLDAが数学的に同等である場合、次元削減は関数固有のものではないのでしょうか。これが最後のリンクで対処していることだと思いますが、完全にはわかりません。$d_i$

私の教師のコースノートは、FDAが本質的に正準相関分析の形式であることを説明し続けます。私はこの側面について語っている他の情報源を1つだけ見つけましたが、これもまた、その間および変動内で分解するフィッシャーのアプローチと密接に関連しているようです。SASは、フィッシャーの方法（https://stats.stackexchange.com/a/105116/62518）に明らかに関連しているLDA / QDA手順（DISCRIM）で結果を提示します。ただし、SASのFDAオプション（CANDISC）は、これらのいわゆるフィッシャーの分類係数を提示せずに、基本的に正準相関を実行します。lda（MASS）によって取得されたRのW-1B固有ベクトルと同等であると信じる生の正準係数を示します（https://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_candisc_sect019.htm）。分類係数は、LDAとQDAのセクションで説明した判別関数から得られるようです（母集団ごとに1つの関数があり、最大のものを選択するため）。

木々の間から森を見るのに役立つ情報源への説明や参照があれば、私は感謝します。私の混乱の主な原因は、別の教科書が別の名前でメソッドを呼び出したり、他の可能性を認識せずに数学のわずかなバリエーションを提示したりすることです。 。

私は質問の1つの側面のみを取り上げ、代数なしで直感的にそれを行います。

場合クラスが同一の分散共分散行列を有するとにおけるそれらの重心のシフトによってのみ異なる次元空間それらは完全に直線的に分離可能である「部分空間」。これは、LDAが行っていることです。変数空間に3つの同一の楕円体があるとします。エラーなしでクラスメンバーシップを予測するには、すべての変数の情報を使用する必要があります。しかし、これらは同じサイズで方向付けられた雲であったという事実により、単位半径のボールへの一般的な変換によってそれらを再スケーリングすることが可能です。次に、$g$$p$$q=min(g-1,p)$$V_1, V_2, V_3$$q=g-1=2$以前と同じように正確にクラスメンバーシップを予測するには、独立した次元で十分です。これらの次元は、判別関数と呼ばれます。ポイントの同じサイズのボールが3つある場合、必要な軸線は2つだけであり、すべてのポイントを正しく割り当てるために、ボールの中心の座標をボールに合わせる必要があります。$D_1, D_2$

判別式は相関のない変数であり、クラス内の共分散行列は理想的には同一のもの（球）です。判別式は元の変数空間の部分空間を形成します-それらは線形結合です。ただし、これらは回転のような（PCAのような）軸ではありません。元の変数空間で見られるように、軸は相互に直交していないため判別式です。

したがって、分類にLDAを使用するクラス内分散共分散の均一性の仮定の下では、既存の判別式はすべて、元の変数ですぐに分類するよりも悪くはありません。ただし、すべての判別式を使用する必要はありません。最初に最も強い/統計的に有意なのみを使用できます。これにより、分類のための最小限の情報が失われ、分類の誤りが最小限になります。この観点から見ると、LDAはPCAと同様のデータ削減であり、監視のみです。$m<q$

均質性（+多変量正規性）を想定し、使用する予定であるが分類のすべての判別式を提供すると仮定すると、判別式自体の抽出（一般化された固有問題を含む）をバイパスして、いわゆる「フィッシャーの分類関数」を計算できます。変数から直接、順に分類すると、それらと同等の結果で、。したがって、クラスの形状が同じである場合、入力変数、フィッシャー関数、または判別式をすべて「分類子」の同等のセットと見なすことができます。しかし、判別式は多くの点でより便利です。$g$$p$$g$$q$$^1$

通常、クラスは実際には「同一の楕円」ではないため、判別式による分類は、すべての元の変数によってベイズ分類を行う場合よりもやや劣ります。たとえば、このプロットでは、2つの楕円体は互いに平行ではありません。また、1つの既存の判別式では、2つの変数で可能な限り正確にポイントを分類するには不十分であることを視覚的に理解できます。QDA（二次判別分析）は、LDAよりも1ステップ優れた近似になります。LDAとQDAの中間にある実際的なアプローチは、LDA判別式を使用することですが、分類では観測された個別クラス共分散行列を使用します（を参照してください。$q$$p$）それらのプールされた行列の代わりに（これはIDです）。

（そして、はい、LDAはMANOVAと正準相関分析または削減ランクの多変量回帰と密接に関連していると見なすことができます。参照、参照、参照してください。）

---

$^1$重要な用語の注記。一部のテキストでは、フィッシャーの分類関数は「フィッシャーの判別関数」と呼ばれることがあります。これは、正規判別関数である判別子と混同する場合があります（つまり、固有分解で取得されます）$g$$q$$\bf W^{-1}B$）。明確にするために、「フィッシャーの分類関数」と「正準判別関数」（=判別式、略して）と言うことをお勧めします。現代の理解では、LDAは正準線形判別分析です。「フィッシャーの判別分析」は、少なくとも私の認識では、2つのクラスを持つLDA（単一の正準判別は必然的にフィッシャーの分類関数と同じものです）、または広くは、マルチクラス設定でのフィッシャーの分類関数の計算です。