単語のバッグの類似性を定量化する

最も一般的な単語と2つの異なる記事の頻度を含む2つのデータセットがあります。

例えば：

A = [apple: 23, healthy: 15, tasty: 4]
B = [apple: 19, healthy: 21, bad: 7]

両方のデータセットに類似した単語が含まれています。2つの記事が同じことについて話しているかどうかを知るための指標を見つけたいと思います。この場合、彼らはリンゴとその健康上の利点について話し合っているかもしれません。

のような単純な測定値を取得できますsimilarity = words in A and B / total number of wordsが、頻度を重みとして使用するより正式な測定値がありますか？

一般に、離散変数のコレクションを比較する、単語のバッグとドキュメント（カウント）ベクトルの4つの最も一般的な類似性メトリックについて説明することで、これに対処します。

一般にコサイン類似度が最も頻繁に使用されますが、常に最初に測定し、他の類似度が問題に対してより良い結果を生み出さないことを確認して、より複雑な測定のいくつかを使用できるかどうかを評価します。Jaccardのセットの類似性を除いて、これらのメジャーを使用する前に、ドキュメントカウント/ベクトルに何らかの形式のTF-IDF再重み付け（ff）を適用することができます（実際に必要な場合があります）。TF重み付け用語はOkapi-BM25である可能性が あり、IDF用語はコーパスエントロピーで置き換えられますが、結局、手元にある元の質問（BoW類似度）とはほとんど関係がありません。

最初の指標であるJaccardの類似性には、重大なマイナス面があります。これは、ドキュメント間の長さの違いの影響が最も大きく、単語の出現頻度も考慮されていません。コサイン類似性と$\chi^2$- ベクトルを単位長に正規化することで（つまり、TF-IDFの再重み付けに加えて）ベクトルを調整できる（またはそうすべき）距離。しかし、それでも、明確な理由により、短いドキュメントは長いドキュメントと比較してスパースカウントが多くなります（つまり、ベクトルのゼロが多くなります）。（そのスパース差の周りに一つの方法は、可能性だけ動的カットオフ値を使用して、いくつかの最小カットオフ上記の単語を含むようにすることを文書の長さが増加します。）

メジャーを説明する前に、この説明は対称メジャーのみに焦点を当てていることに言及する必要がありますが、非対称メジャーも存在します（特に、KLダイバージェンス）。

1. Jaccardの類似性$J$

これは最も単純なメトリックです。両方のドキュメント（ツイート、文など）のすべての単語のセットを収集します。 ${A}$ そして ${B}$、2つのセットに共通する単語の割合を測定します。

$$J_{A,B} = \frac{|{A} \cap {B}|}{|{A} \cup {B}|}$$

このメジャーは、文字（または単語）のセットを収集することにより、単語（およびドキュメント）にも機能します。 $n$-グラム、場所 $n$ただし、Jaccardの類似性には限界があることに注意してください。のシーケンス$A$ されていた $(x, y, z, x, y, z, x, y, z)$ との $B$ ただだった $(x, y, z)$、それでもJaccardの類似性は完璧です（つまり、 $1.0$）、今説明したn-gramの「トリック」を使用しない限り。

最後に、ダイス係数は$D$ はJaccard類似性のやや複雑なバージョンですが、単語数も考慮されていません。 $J$ なので： $D = \frac{2J}{1+J}$。

2. コサイン類似度$\alpha$

コサインの類似性は、おそらく最も一般的なメトリックです。両方のドキュメント（ツイート、文章など）からすべての単語数の順序付けられたセットを収集します。$A$ そして $B$、つまり、事実上、2つの「ドキュメント ベクトル」$\vec{a}$ そして $\vec{b}$、2つのベクトル間のコサイン角度を測定します。

$$\alpha_{A,B} = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}||\vec{b}|} = \frac{\sum{a_i b_i}}{\sqrt{\sum{a_i^2}}\sqrt{\sum{b_i^2}}}$$

これで、ベクトルを単位ベクトルに正規化できるため（つまり、 $|\vec{z}|$一部）この計算を行う前に、実際には2つのベクトル間の内積を計算するだけで類似性を計算できます。これは、すべてのペアの積の合計にすぎません。最近のCPUでは、ドット積を特に効率的に計算できます。

3. スピアマンの順位相関係数$\rho$

各単語のカウントを使用する代わりに、各ドキュメントの単語をそれらのカウントで順序付け、それにより、いずれかのドキュメントの各単語にランクを割り当てます。$A$ そして $B$。そのため、ドキュメントベクトルを長さ正規化する必要がなくなります。ウィキペディアの命名法を使用して、ランク生成関数を呼び出しましょう（与えられた単語のランクを見つけます）$i$ （word、count）タプルリストから $X$、またはドキュメントベクトル $\vec{x}$） $rg$。第二に、その距離を定義しましょう$d$ 同じ言葉の間 $i$ 2つのドキュメントの中で $d_i = rg(A, i) - rg(B, i)$。あれは、$d$2つのランクの差。等しい場合はゼロ、それ以外の場合はゼロ以外。これにより、係数は整数から次のように計算できます。

$$\rho_{A,B} = 1 - \frac{6-\sum d_i^2}{n(n^2-1)}$$

この定式化には強い要件があることに注意してください。すべてのランクは異なる必要があるため、同順位の場合（2つの単語が同じドキュメントで同じ数である場合）でも、異なるランクを割り当てる必要があります。その場合は、英数字の順序を使用することをお勧めします。また、1つのドキュメントにのみ出現する単語については、他のドキュメントの最後の位置に配置します（ここでも同じ英数字順を使用します）。この類似度を計算する前にTF-IDFでカウントを再重み付けすることで、カウントがゼロでない単語間のつながりをはるかに少なくできることに注意してください。

タイを維持したい場合（つまり、すべてのランクを「人工的に」区別したくない場合）、または（単語、カウント）タプルの一部を削除するためにカットオフを使用している場合、または最上位のみを選択している場合 $n$ 最も頻度の高い単語ですが、標準的な式を使用する必要があります $\rho$ （そして定義する $rg$ドキュメントのすべての英数字順に並べられた（単語、カウント）タプルの完全なランクベクトルを生成する関数として$X$内の文書ベクトル$\vec{x}$）：

$$\rho_{A,B} = \frac{cov(rg(\vec{a}), rg(\vec{b}))}{\sigma_{rg_A} \sigma_{rg_B}}$$

どこ $cov$2つのドキュメントのランク間の共分散です。$\sigma_{rg_X}$ （カットオフの可能性がある）ランクの標準偏差 $rg$ （ネクタイ付き）資料の $X$。

簡単に言うと、このアプローチは、Jaccardの類似性とCosineの類似性の中間にあると見ることができます。特に、ドキュメント全体の単語の頻度を考慮しながら、ドキュメント間の単語数の分布の違いに対して（もう少し-次の指標を参照）堅牢です。ただし、ほとんどの作品では、コサイン類似度はスピアマンのランク補正よりも優れているように見えますが、これをテストする必要があります。TF-IDFとスピアマンで良い結果が得られる可能性があります。あなたのドキュメントのベクトルの。

4. （ピアソンの$\chi^2$ テストベース） $\chi^2$ 距離

これまでのところ、すべての類似性測定は単語頻度の均一性を前提としています。つまり、コレクション（「コーパス」）のすべてのドキュメント間で単語数の分散が等しいと想定しています。ケース。つまり、以前、Kilgarriff（1997）は、$\chi^2$上記の測定値よりも単語数を比較するのに適しています。ただし、今日のコーパス比較（機能選択を行うためなど）のために現在の調査を行っている場合は、おそらく、代わりにブートストラップテストを使用する必要があります。$\chi^2$。

キルガリフ $\chi^2$ 比較はドキュメントにも同様に適用できます（2つの「クラス」、つまり2つのドキュメントしかないため、 $d.f. = 1$）、およびその堅牢性により、これまでに示した類似性の測定よりも望ましい場合があります。このアプローチでは距離が得られるため、この値を類似度に変換するには、その逆数をとる必要があります（つまり、この距離が大きいほど、ドキュメントの類似度は小さくなります）。ドキュメント内のすべての単語の数を定義しましょう$X$ なので $n_X = \sum x_i$ 両方のドキュメントの合計 $A$ そして $B$ なので $n = n_A + n_B$。次に、$\chi^2$2つのドキュメント（ドキュメントベクトル）の統計ベースの距離は、ピアソンの基本公式から導出できます。$\sum \frac{(O_i-E_i)^2}{E_i}$ なので：

$$\chi^2_{A,B} = n \left[ \sum{ \frac{a_i^2}{n_A(a_i+b_i)} } + \sum{ \frac{b_i^2}{n_B(a_i+b_i)} } \right] - n$$

ただし、この計算は計算にはるかにコストがかかります。おそらくそれ自体で、ほとんどのアプローチがコサイン類似性に固執する理由を説明し、さらに、分類/取得/クラスタリングの結果がこの後者の距離測定から得られないことを確認できる場合はなおさらです。また、リンク先の論文で示されているように、この距離測定は、TF-IDFの再重み付けとコサインの類似性を打ち負かすようには見えません。ただし、リンクされた論文では、「生の」用語の頻度カウントを使用してこの距離測定値を計算し、それをTF-IDF再重み付けコサイン類似度と比較しています。すでに説明したように、通常、まずドキュメントのベクトルを単語数（つまり、長さ）で正規化して、良好な結果を得る、つまり変換することをお勧めします。$X / n_X$ 最初に（そして、その前にTF-IDFドキュメントベクトルの再重み付けを適用することもできます）。この場合、上記の式は（少し）単純化されます。

$$\chi^2_{A,B} = 2 \left[ \sum{ \frac{a_i^2}{a_i+b_i} } + \sum{ \frac{b_i^2}{a_i+b_i} } \right] - 2$$