マルチクラスLDAと2クラスLDA

LDAを使用してマルチクラス分類器を設計する問題は、2クラス問題（1つ対その他すべて）またはマルチクラス問題として表すことができます。

特定のケースでマルチクラスLDA分類器が2クラスLDA（1つ対他のすべて）を上回る、またはその逆の場合があるのはなぜですか。

マルチクラスLDA分類器は常に（ほとんどの実際的なタスクでは）2クラスLDAよりも優れていると思います。そして、その理由を説明しようと思います。

サンプルデータセットをご覧ください。

ここには3つのクラスがあります。そして、青いクラスのLDAを使用して1対その他の分類子を作成するとします。

クラス「青」の推定平均はゼロですが、クラス「その他」の推定平均もゼロです。そして、LDAの定義から、共分散は同じです。つまり、LDAはより多くの要素を持つラベルで応答します。そして、それは決してクラス「青」を決して返しません！

マルチクラスLDAの場合、適切なクラスを完全に見つけることができます。

これに関する背景は、ほとんどの場合、ガウシアンの混合はもはやガウスではないということです。したがって、LDAのこの仮定は失敗します。そして、私はすべてのクラスがガウスであるデータセットの例を思い付くのは本当に難しいと言わざるを得ません。

そのため、マルチクラスLDAを使用することを強くお勧めします。お役に立てれば幸いです。