単純ベイズの理解：条件付き確率の計算

感情分析のタスクとして、で表されるクラスと機能とします。 $c$ $i$

各クラスの条件付き確率は次のように表すことができますここで、は各特徴を表し、はクラスです我々は持っています。次に、経験的に、ことができます。ここで：

P (c | w_{i}) = \frac{P (w_{i} | c) \cdot P (c)}{P (w_{i})}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)}$

w_{i}

$w_i$

c

$c$

P (w_{i} | c) = \frac{n_{c i}}{n_{c}}

$P(w_i|c) = \frac{n_{ci}}{n_c}$

P (w_{i}) = \frac{n_{i}}{n}

$P(w_i) = \frac{n_{i}}{n}$

P (c) = \frac{n_{c}}{n}

$P(c) = \frac{n_c}{n}$

$n$ は、すべてのクラスの特徴の総数です。

$n_{ci}$ は、クラスその特徴カウント数を表し。 $i$ $c$

$n_c$ は、クラスの機能の総数です。

$n_i$ は、すべてのクラスの機能の総数です。

上記の私の理解は正しいですか？したがって、各単語のこれらの確率を考えると、私は単純なベイズの仮定です。単語は独立しているため、特定のクラスのドキュメントの各単語を単純に乗算します。つまり、ここで、はドキュメント内の単語数です。これは正しいです？ $P(c|w_i)$ $\prod P(c|w_i), i \in N$ $N$

条件付き確率を数値で実際に計算するには、次のことを行えば十分でしょうか。

P (c | w_{i}) = \frac{P (w_{i} | c) \cdot P (c)}{P (w_{i})} = \frac{n_{c i}}{n_{c}} \cdot \frac{n_{c}}{n} \cdot \frac{n}{n_{i}} = \frac{n_{c i}}{n_{i}}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)} = \frac{n_{ci}}{n_c} \cdot \frac{n_c}{n}\cdot \frac{n}{n_i} = \frac{n_{ci}}{n_i}$

方程式の最後の部分は、かなり複雑な確率を計算するには単純すぎるように思えるため、私には少し疑わしく見えます。

— user19241256
ソース

数式は1つのに対して正しいですが、ドキュメントを分類する場合は、を計算する必要があります。 $w_i$ $P(c | w_1,\ldots,w_N)$

次に、

P (c | w_{1}, \dots, w_{N}) = \frac{P (c) \cdot P (w_{1}, \dots, w_{N} | c)}{P (w_{1}, \dots, w_{N})} = \frac{P (c) \cdot \prod_{i = 1}^{N} P (w_{i} | c)}{P (w_{1}, \dots, w_{N})} \neq \prod_{i = 1}^{N} P (c | w_{i})

$P(c | w_1,\ldots,w_N) = \frac{P(c)\cdot P(w_1,\ldots,w_N|c)}{P(w_1,\ldots,w_N)} = \frac{P(c) \cdot \prod_{i=1}^N P(w_i|c)}{P(w_1,\ldots,w_N)} \neq \prod_{i=1}^NP(c|w_i)$

ここでは、ナイーブベイズの仮定により、2番目の方程式が成立します。

分類のためには定数なので（データが与え無視できます。式はまだ単純ですが（「ナイーブ」）、それほど単純化されていません。 $P(w_1,\ldots,w_N)$

方程式の最後の部分は、かなり複雑な確率を計算するには単純すぎるように思えるため、私には少し疑わしく見えます。

ナイーブベイズは多くのアプリケーションでまともな分類子ですが、生成された確率は通常あまり代表的ではないことに注意してください。

— oW_
ソース

ご回答有難うございます。実際のプログラムでは、なぜこの結果が得られないのですか？私はナイーブベイの多くの実装を見てきましたが、それらのどれも直接を計算することはありません。

n_{c i}

$n_{ci}$

— user19241256

私が質問を理解しているのかわかりません...なんらかの形で、それは数えることになるでしょう。例を挙げていただけますか？

— oW_