Naive Bayesはどのように線形分類器ですか？

私はここで他のスレッドを見ましたが、答えが実際の質問を満たしたとは思いません。私が絶えず読んでいるのは、Naive Bayesが線形分類器であるということです（例：ここ対数オッズデモンストレーションを使用し）である（線形決定境界を描画する）ことです。

ただし、2つのガウス雲をシミュレートし、決定境界に適合させて、そのような結果を得ました（naiveBayes（）を使用してrのライブラリe1071） 1-緑、0-赤

ご覧のとおり、決定境界は非線形です。パラメーター（条件付き確率）は、分類子自体がデータを線形に分離するというよりも、対数空間における線形結合であると言っているのですか？

classification naive-bayes

— ケビン・ペイ
ソース

どのように決定境界を作成しましたか？分類器の真の決定境界ではなく、フィッティングルーチンに関係していると思われます。通常、象限内のすべてのポイントで決定を計算することにより、決定境界を生成します。

— seanv507

それは私がやったことです、私はX = [Min（x）、Max（x）]とY = [Min（Y）、Max（Y）]の2つの範囲を0.1の間隔で取りました。私は、訓練された分類器を用いてすべてのこれらのデータポイントを取り付け、対数オッズは-0.05と0.05の間であったことポイントは、見出さ

— ケビン・ペイ

回答:

一般に、単純ベイズ分類器は線形ではありませんが、尤度係数が指数族からのものである場合、単純ベイズ分類器は特定の特徴空間の線形分類器に対応します。これを見る方法は次のとおりです。 $p(x_i \mid c)$

任意の単純ベイズ分類器を次のように記述できます*

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) 、

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

ここで、はロジスティック関数です。場合は指数分布族からのもので、我々はそれをとして書くことができます $\sigma$ $p(x_i \mid c)$

p （ {バツ}_{私} ∣ c ） = h_{私} （ {バツ}_{私} ） \exp （ {あなたは}_{私 c}^{⊤} ϕ_{私} （ {バツ}_{私} ） - A_{私} （ {あなたは}_{私 c} ） ） 、

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

それゆえ

p （ c = 1 ∣ バツ ） = σ （ \sum_{私} w_{私}^{⊤} ϕ_{私} （ {バツ}_{私} ） + b ） 、

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

どこで

\begin{aligned} w_{私} & = {あなたは}_{私 1} - {あなたは}_{私 0} 、 \\ b & = ログ \frac{p （ c = 1 ）}{p （ c = 0 ）} - \sum_{私} （ A_{私} （ {あなたは}_{私 1} ） - A_{私} （ {あなたは}_{私 0} ） ） 。 \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

これは、定義された特徴空間におけるロジスティック回帰（線形分類器）に似ていることに注意してください。3つ以上のクラスの場合、同様に多項ロジスティック（またはソフトマックス）回帰を取得します。 $\phi_i$

場合はガウス分布である場合、、私たちは持っているはずです $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{私 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0} 、 \\ w_{私 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2} 、 \\ b_{私} & = ログ σ_{0} - ログ σ_{1} 、 \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

仮定。 $p(c = 1) = p(c = 0) = \frac{1}{2}$

*この結果を導き出す方法は次のとおりです。

\begin{aligned} p （ c = 1 ∣ バツ ） & = \frac{p （ バツ ∣ c = 1 ） p （ c = 1 ）}{p （ バツ ∣ c = 1 ） p （ c = 1 ） + p （ バツ ∣ c = 0 ） p （ c = 0 ）} \\ = \frac{1}{1 + \frac{p （ バツ ∣ c = 0 ） p （ c = 0 ）}{p （ バツ ∣ c = 1 ） p （ c = 1 ）}} \\ = \frac{1}{1 + \exp （ - ログ \frac{p （ バツ ∣ c = 1 ） p （ c = 1 ）}{p （ バツ ∣ c = 0 ） p （ c = 0 ）} ）} \\ = σ （ \sum_{私} ログ \frac{p （ {バツ}_{私} ∣ c = 1 ）}{p （ {バツ}_{私} ∣ c = 0 ）} + ログ \frac{p （ c = 1 ）}{p （ c = 0 ）} ） \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— ルーカス
ソース

私が今理解している導出に感謝します。式2以下の表記を説明できますか？（u、h（x_i）、phi（x_i）など）P（x_i | c）は、単にpdfから値を取得するだけの指数族ですか？

— ケビン・ペイ

u

$\mathbf{u}$

ϕ

$\phi$

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

この答えは誤解を招きます：ちょうどコメントで指摘したように、そしてすぐ下の答えで、ガウスナイーブベイズは元の特徴空間では線形ではなく、これらの非線形変換です。したがって、従来の線形分類器ではありません。

— ゲールヴァロクオー

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

クラス条件付き分散行列が両方のクラスで同じ場合にのみ線形です。これを見るには、対数事後の比率を書き留めて、対応する分散が同じ場合にのみ線形関数を取得します。それ以外の場合は2次です。

— x
ソース

もう1つ追加したい点があります。混乱の原因は、「単純ベイズ分類」を実行することの意味にあります。

「ガウス判別分析（GDA）」の広範なトピックには、QDA、LDA、GNB、およびDLDA（2次DA、線形DA、ガウスナイーブベイ、対角LDA）といういくつかの手法があります。[更新] LDAとDLDAは、与えられた予測子の空間で線形でなければなりません。（たとえば、Murphy、4.2、DAについては101ページ、NBについては82 ページを参照してください。注：GNBは必ずしも線形ではありません。離散NB（フードの下で多項分布を使用）は線形です。、Hart＆Storkセクション2.6）。QDAは、他の回答が指摘しているように2次関数です（そして、グラフィックスで何が起こっていると思います-以下を参照）。

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

e1071のドキュメントでは、クラス条件付き独立（つまりGNB）を想定していると主張していますが、実際にQDAを行っているのではないかと疑っています。一部の人々は、「単純ベイズ」（独立仮定を行う）と「単純ベイズ分類規則」を混同します。GDAメソッドはすべて、後者から派生しています。ただし、前者を使用するのはGNBとDLDAのみです。

大きな警告です。e1071のソースコードを読んで、その動作を確認していません。

— MrDrFenner
ソース