ベイズ分類器が理想的な分類器であるのはなぜですか？

これは、カテゴリーの基礎となる確率構造が完全にわかっている理想的なケースと見なされます。

なぜベイズ分類器を使用すると、達成可能な最高のパフォーマンスが得られるのですか？

これの正式な証明/説明は何ですか？常にベイズ分類器をベンチマークとして使用して、他のすべての分類器のパフォーマンスを比較します。

なぜベイズ分類器を使用すると、達成可能な最高のパフォーマンスが得られるのですか？これの正式な証明/説明は何ですか？

通常、データセットは、データを生成する分布の iidサンプルで構成されると見なされます。次に、指定されたデータから予測モデルを構築します。サンプルを指定すると、クラスを予測しますが、サンプルの実際のクラスはです。$D$$n$$x_i$$x_i$$\hat{f}(x_i)$$f(x_i)$

ただし、理論的には、1つの特定のモデルを選択せず、すべての可能なモデルを一度に検討して、何らかの方法で1つの大きなモデル組み合わせることができます。。$\hat{f}_\text{chosen}$$\hat{f}$$\hat F$

もちろん、データが与えられると、小さなモデルの多くはほとんど起こりえないか、不適切になる可能性があります（たとえば、データセットターゲットの値が複数ある場合でも、ターゲットの値を1つだけ予測するモデル）。$D$

いずれの場合も、 s と同じ分布からされた新しいサンプルのターゲット値を予測する必要があります。モデルのパフォーマンスの良い尺度は、 つまり、予測する確率ランダムにサンプリングされた真のターゲット値。$x_i$$e$

$$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$$ $X$

ベイズの公式を使用すると、データ与えられた場合、新しいサンプルがターゲット値持つ確率を計算できます。$x$$v$$D$

$$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ 一つのことを強調すべきです

• 通常、のいずれかであり、又はため、の決定論的関数であり、$P(v\mid \hat{f})$$0$$1$$\hat{f}$$x$
• 通常はありませんが、ほとんどの場合、を推定することは不可能です（前述の些細な場合を除いて）、$P(\hat{f}\mid D)$
• 通常ではありませんが、ほとんどの場合、可能なモデルの数は多すぎて、上限を評価できません。$\hat{f}$

したがって、ほとんどの場合、を取得/推定することは非常に困難です。$P(v\mid D)$

次に、最適ベイズ分類器に進みます。与えられた、値 これはすべての可能なターゲット値中で最も可能性の高い値であるため、最適ベイズ分類器はパフォーマンス測定最大化します。$x$

$$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ $v$$e(\hat{f})$

常にベイズ分類器をベンチマークとして使用して、他のすべての分類器のパフォーマンスを比較します。

おそらく、ベイズ分類器の単純なバージョンを使用しています。実装は簡単で、ほとんどの場合、かなりうまく機能しますが、計算するのは単純な推定だけです。$P(v\mid D)$

分類子の成功率に関するパフォーマンスは、真のクラスが予測されたクラスと等しい確率に関連しています。$C_T$$C_P$

この確率は、特徴ベクトル（またはが離散の場合は合計）のすべての可能な状況での積分と、それらの正しく分類するための条件付き確率として表すことができます。$X$$X$$x$

$$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$$

ここで、は、特徴ベクトル確率密度です。$f(x)$$X$

機能可能なセットについて、分類子がその機能のセットに対して最も可能性の高いクラスを選択しない場合、それを改善できます。$x$

ベイズ分類器は常に、特徴セットごとに最も可能性の高いクラスを選択します（項が最大です）。したがって、少なくとも特徴基づいて改善することはできません。$x$$P(C_T=C_P|x)$$x$