判別分析の3つのバージョン：違いとその使用方法

誰もが違いを説明し、これらの3つの分析を使用する方法を特定の例を与えることができますか？

• LDA-線形判別分析
• FDA-フィッシャーの判別分析
• QDA-二次判別分析

私はどこでも検索しましたが、実際の値のない実際の例を見つけることはできませんでした。これらの分析がどのように使用され、計算されるかを確認できませんでした。私が理解しようとしたとき、どの方程式/式がLDAに属し、どの方程式/ FDAに属するかを区別するのは困難でした。

たとえば、そのようなデータがあるとしましょう：

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

そして、いくつかのテストデータを考えてみましょう：

x1 x2
2  4
3  5
3  6

では、これら3つのアプローチすべてでこのようなデータを使用する方法は？背後ですべてを計算する数学パッケージを使用するのではなく、すべてを手動で計算する方法を確認することをお勧めします。

：PS私はこのチュートリアル見つけhttp://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDAを。LDAの使用方法を示します。

「フィッシャーの判別分析」は、2クラスの状況でのLDAです。2つのクラスしかない場合、手作業による計算が可能であり、分析は重回帰に直接関連しています。LDAは、任意の数のクラスの状況に関するフィッシャーのアイデアを直接拡張したものであり、行列代数デバイス（固有分解など）を使用して計算します。したがって、「フィッシャーの判別分析」という用語は、今日では時代遅れとみなすことができます。代わりに「線形判別分析」を使用する必要があります。も参照してください。2+クラス（マルチクラス）を使用した判別分析は、アルゴリズムによって標準的です（標準的な変量として判別式を抽出します）。まれな用語「正準判別分析」

フィッシャーは、判別関数が計算された後、「フィッシャー分類関数」と呼ばれるものを使用してオブジェクトを分類しました。今日では、より一般的なベイズのアプローチがLDAプロシージャ内で使用されてオブジェクトを分類しています。

LDAの説明のリクエストに対して、LDAでの抽出、 LDAでの分類、関連する手順の中でLDAを。また、これ、これ、この質問と回答。

ANOVAが等分散の仮定を必要とするように、LDAはクラスの等分散共分散行列（入力変数間）の仮定を必要とします。この仮定は、分析の分類段階にとって重要です。行列が大幅に異なる場合、観測値は変動性が大きいクラスに割り当てられる傾向があります。この問題を克服するために、QDAが発明されました。QDAは、上記のクラスの共分散行列の不均一性を考慮したLDAの修正版です。

（BoxのMテストなどで検出された）異質性があり、QDAが手元にない場合でも、分類での判別因子の（プールされた行列ではなく）個々の共分散行列を使用するレジームでLDAを使用できます。これは部分的に問題を解決しますが、QDAほど効果的ではありませんが、先ほど指摘したように、これらは判別変数間の行列であり、元の変数（行列が異なる）の間ではありません。

サンプルデータの分析はご自身で行ってください。

@zyxueの回答とコメントに返信する

LDAは、FDAがあなたの答えに定義したものです。LDA最初に分離の範囲内を最大化する線形構造（判別式と呼ばれる）を抽出し、次にそれらを使用して（ガウス）分類を実行します。（おっしゃるように）LDAが判別式を抽出するタスクと結び付けられていない場合、LDAは単なるガウス分類器のように見えますが、「LDA」という名前はまったく必要ありません。

$S_w$$S_w$s同じクラス内共分散がすべて同一である同一性。それらを使用する権利は絶対になります。）

ガウス分類器（LDAの第2段階）は、ベイズ規則を使用して、判別分析によってクラスに観測値を割り当てます。同じ結果は、元の特徴を直接利用するいわゆるフィッシャー線形分類関数を介して達成できます。ただし、判別に基づくベイズのアプローチは、プールされたものを使用するデフォルトの方法に加えて、別個のクラス判別共分散行列も使用できるという点で、少し一般的です。また、判別式のサブセットに基づいて分類を行うことができます。

クラスが2つしかない場合、「潜伏抽出」と「観測分類」が同じタスクに還元されるため、LDAの両方の段階を1つのパスで一緒に記述することができます。

@ttnphnsが示唆したように、FDAが2クラスのLDAであることに同意するのは難しいと思います。

Ali Ghodsi教授によるこのトピックに関する非常に有益で美しい2つの講義をお勧めします。

1. LDAおよびQDA。さらに、書籍The Elements of Statistics Learning（pdf）の108ページには、講義と一致するLDAの説明があります。
2. FDA

私にとっては、LDAとQDAはどちらもガウスの仮定による分類手法であるため似ています。2つの主な違いは、LDAは両方のクラスの特徴共分散行列が同じであると仮定しているため、線形判定境界が生じることです。対照的に、QDAはそれほど厳密ではなく、クラスごとに異なる特徴共分散行列を使用できるため、二次決定境界になります。2次決定境界がどのように見えるかについては、scikit-learnの次の図を参照してください。

サブプロットに関するいくつかのコメント：

• 一番上の行：データの共分散行列が実際に同じ場合、LDAとQDAは同じ決定境界になります。
• 最下行：共分散行列が異なる場合、LDAは仮定が無効になるためパフォーマンスが低下しますが、QDAははるかに優れた分類を実行します。

一方、FDAは非常に異なる種であり、ガウスの仮定とは関係ありません。FDAが試みていることは、クラス内分散を最小化しながらクラス間の平均距離を最大化する線形変換を見つけることです。2回目の講義では、この考えを美しく説明します。LDA / QDAとは対照的に、FDAは分類を行いませんが、FDAによって検出された変換後に得られた機能は、LDA / QDA、SVMなどを使用して分類に使用できます。