Naive Bayesでは、テストセットに未知の単語があるのに、なぜラプラススムージングに悩まされるのですか？

今日は、単純ベイズ分類について読んでいた。追加のスムージングを使用したパラメーター推定の見出しの下で読みました：

してみましょう（例えば正または負など）クラスを参照してください、としましょうトークンまたは単語を参照してください。$c$$w$

の最尤推定量は、$P(w|c)$

$$\frac{count(w,c)}{count(c)} = \frac{\text{counts w in class c}}{\text{counts of words in class c}}.$$

この推定は、未知の単語を含むドキュメントに対して確率を与えるため、問題になる可能性があります。この問題を解決する一般的な方法は、ラプラス平滑化を使用することです。$P(w|c)$$0$

Vをトレーニングセット内の単語セットとし、単語セットに新しい要素（不明）を追加します。$UNK$

定義

$$P(w|c)=\frac{\text{count}(w,c) +1}{\text{count}(c) + |V| + 1},$$

ここで、は語彙（トレーニングセットの単語）を指します。$V$

特に、未知の単語には確率

$$\frac{1}{\text{count}(c) + |V| + 1}.$$

私の質問はこれです。なぜこのラプラススムージングに悩まされるのでしょうか？テストセットで遭遇するこれらの未知の単語の確率が明らかにほぼゼロである場合、つまり、モデルにそれらを含めることのポイントは何ですか？なぜそれらを無視して削除しないのですか？ $\frac{1}{\text{count}(c) + |V| + 1}$

この「フェイルセーフ」確率が常に必要です。

トレーニングサンプルの単語がテスト文に表示されない最悪の場合を考えてください。この場合、あなたのモデルの下では、文は不可能であるが、矛盾が生じていることは明らかです。

別の極端な例は、テスト文「アレックスはスティーブに会いました」です。ここで、「met」はトレーニングサンプルに数回現れますが、「Alex」と「Steve」は現れません。あなたのモデルは、この記述は真実ではない可能性が高いと結論付けるでしょう。

Naive Bayes Classifierを「Ham」と「Spam」の2つのクラスでトレーニングしたとしましょう（つまり、電子メールを分類します）。簡単にするために、事前確率は50/50であると仮定します。

さて、あなたは電子メールを持っているとしましょう$(w_1, w_2,...,w_n)$と言う、これはあなたの分級率が非常に非常に"ハム"として

$$P(Ham|w_1,w_2,...w_n) = .90$$ 及び $$P(Spam|w_1,w_2,..w_n) = .10$$

ここまでは順調ですね。

さて、あなたは別の電子メール持っているとしましょう$(w_1, w_2, ...,w_n,w_{n+1})$語彙に含まれていないことで一つの単語があることを正確除いて、上記のメールと同じです。したがって、この単語のカウントは0であるため、

$$P(Ham|w_{n+1}) = P(Spam|w_{n+1}) = 0$$

突然、

$$P(Ham|w_1,w_2,...w_n,w_{n+1}) = P(Ham|w_1,w_2,...w_n) * P(Ham|w_{n+1}) = 0$$ および $$P(Spam|w_1,w_2,..w_n,w_{n+1}) = P(Spam|w_1,w_2,...w_n) * P(Spam|w_{n+1}) = 0$$

1番目の電子メールは1つのクラスに強く分類されていますが、この2番目の電子メールは、最後の単語の確率がゼロであるため、異なる方法で分類される場合があります。

ラプラス平滑化は、両方のクラスの最後の単語にゼロ以外の小さな確率を与えることでこれを解決し、事後確率が突然ゼロにならないようにします。

この質問は、ベイズ推定器に精通している場合、ベイズ推定器の直接の結論なので、かなり単純です。

ベイジアンアプローチでは、パラメータは、その分布が確率分布（または事前分布）で記述できる量と見なされます。

したがって、ピックアップの手順を多項分布として見ると、いくつかの手順で問題を解決できます。

まず、定義する

$$m = |V|, n = \sum n_i$$

$p_i$事前分布が均一分布であると仮定すると、次のように条件付き確率分布を計算できます。

$$p(p_1,p_2,...,p_m|n_1,n_2,...,n_m) = \frac{\Gamma(n+m)}{\prod\limits_{i=1}^{m}\Gamma(n_i+1)}\prod\limits_{i=1}^{m}p_i^{n_i}$$

実際、それはディリクレ分布であり、$p_i$期待値は

$$E[p_i] = \frac{n_i+1}{n+m}$$

$p_i$自然推定値は、事後分布の平均です。したがって、$p_i$ベイズ推定量を与えることができます。

$$\hat p_i = E[p_i]$$

ラプラススムージングと同じ結論を導き出していることがわかります。

これらの単語を無視することは、それを処理する別の方法です。すべての欠損変数の平均化（積分）に対応します。そのため、結果は異なります。どうやって？

$$P(C^{*}|d) = \arg\max_{C} \frac{\prod_{i}p(t_{i}|C)P(C)}{P(d)} \propto \arg\max_{C} \prod_{i}p(t_{i}|C)P(C)$$ $t_{i}$$d$

トークンが表示されないとしましょう。ラプラススムージング（多項ベイズの前にディリクレを課すことで得られます）を使用する代わりに、次のように対応するを合計します：未知のトークンの可能性（それらがあるかどうか） 。 t $t_{k}$$t_{k}$

$$P(C^{*}|d) \propto \arg\max_{C} \sum_{t_{k}} \prod_{i}p(t_{i}|C)P(C) = \arg\max_{C} P(C)\prod_{i \neq k}p(t_{i}|C) \sum_{t_{k}} p(t_{k}|C) = \arg\max_{C} P(C)\prod_{i \neq k}p(t_{i}|C)$$

しかし、実際には、スムージングアプローチが好まれます。それらのトークンを無視する代わりに、考えているような低い確率を割り当てます：未知のトークンを持っている場合、そうでないと思っている種類の文書ではないでしょう。

Naive Bayes分類器でスムージングをまったく行わない理由を知りたい（代わりに未知の機能を破棄できる場合）。

あなたの質問に対する答えは、すべてのクラスですべての単語が未知である必要はないということです。

次のように、機能A、B、およびCを持つ2つのクラスMおよびNがあるとします。

M：A = 3、B = 1、C = 0

（クラスMでは、Aは3回、Bは1 回だけ表示されます）

N：A = 0、B = 1、C = 3

（クラスNでは、Cは3回、Bは1 回だけ表示されます）

ゼロ回出現するフィーチャーを捨てるとどうなるか見てみましょう。

A）すべてのクラスでゼロ回表示される機能を捨てる

フィーチャAとCがクラスのいずれにもゼロ回出現するため、それらを破棄すると、ドキュメントを分類するためのフィーチャBのみが残ります。

また、以下に示すように、その情報を失うことは悪いことです！

次のようなテストドキュメントが提示された場合：

B = 1、C = 3

（Bを1回、Cを3回含む）

これで、機能AとBを破棄したため、上記のドキュメントがクラスMに属しているかクラスNに属しているかを判断できなくなります。

したがって、機能情報を失うことは悪いことです！

B）すべてのクラスでゼロ回表示される機能を捨てる

すべてのクラスでゼロ回出現する機能のみを破棄することにより、この問題を回避することは可能ですか？

いいえ、それは独自の問題を作成するためです！

次のテストドキュメントは、それを行うとどうなるかを示しています。

A = 3、B = 1、C = 1

MとNの確率は両方ともゼロになります（クラスNのAのゼロ確率とクラスMのCのゼロ確率を捨てなかったため）。

C）何も捨てない-代わりにスムージングを使用する

以下の理由により、スムージングを使用すると、上記の両方のドキュメントを正しく分類できます。

1. そのような情報が利用可能なクラスでカウント情報を失うことはなく、
2. ゼロカウントと競合する必要はありません。

実際の単純ベイズ分類器

NLTKのNaive Bayes分類子は、どのクラスでもカウントがゼロのフィーチャを破棄するために使用されていました。

これは、ハードEMプロシージャを使用してトレーニングしたときにパフォーマンスが低下するために使用されていました（非常に少ないトレーニングデータから分類器がブートストラップされる）。

Naive Bayesを勉強しているときにも同じ問題に遭遇しました。

私によると、トレーニング中に遭遇しなかったテスト例に遭遇するたびに、アウト事後確率は0になります。

したがって、1を追加すると、特定のフィーチャ/クラスでトレーニングしていなくても、事後確率は0になりません。

マット、あなたは非常に良い点を挙げます-はい、ラプラススムージングは​​率直に言ってナンセンスです！特に分母も少数である場合、これらの機能を単に破棄するだけで有効なアプローチになります。確率推定をサポートするだけの十分な証拠はありません。

任意の調整を使用して問題を解決することに強い嫌悪感を抱いています。ここでの問題はゼロです。「解決策」は、「ゼロに小さな値を追加してゼロにならないようにすることです-MAGICの問題はもうありません」。もちろん、それはまったくarbitrary意的です。

優れた機能選択の最初の提案は、arbitrary意的なアプローチではなく、IMEはパフォーマンスを向上させます。さらに、私の経験ではモデルが持つ単純なベイズと組み合わせたラプラススムージングは​​、粒度の問題を悪化させます。つまり、スコア出力が1.0または0.0に近い傾向がある問題（特徴の数が無限の場合、すべてのスコアは1.0または0.0 -これは独立性の仮定の結果です）。

現在、確率推定のための代替手法（最大尤度+ラプラス平滑化以外）が存在しますが、十分に文書化されていません。実際、情報理論からの多くのツールを使用する帰納論理と推論プロセスと呼ばれるフィールド全体があります。

実際に使用するのは、ジェフリーの更新の拡張である最小クロスエントロピー更新であり、証拠と一致する確率空間の凸領域を定義し、その点が最大尤度推定を意味する領域になるようにしますその時点から予想される絶対偏差。

これには、データポイントの数が少なくなると、推定が平和的にスムーズに前の値に近づくという優れた特性があります。したがって、ベイズ計算での効果はゼロです。一方、ラプラスの平滑化により、各推定は、前ではない可能性がある最大エントロピーのポイントに近づくため、計算の影響はゼロではなく、ノイズが追加されます。