2つの数値リスト間の余弦の類似性

2つのリスト間のコサイン類似度を計算する必要があります。たとえば、リスト1であるdataSetIリスト2であるとしdataSetIIます。numpyや統計モジュールなどは使用できません。私は共通のモジュール（数学など）を使用する必要があります（そして、費やす時間を削減するために、可能な限り最小のモジュールを使用します）。

dataSetIis [3, 45, 7, 2]とdataSetIIis だとしましょう[2, 54, 13, 15]。リストの長さは常に同じです。

もちろん、コサイン類似度は0と1の間であり、そのために、で3番目または4番目の10進数に丸められformat(round(cosine, 3))ます。

よろしくお願いします。

SciPyを試してみてください。たとえば、「積分を数値的に計算し、微分方程式を解き、最適化し、疎行列を計算するためのルーチン」など、便利な科学的ルーチンがたくさんあります。それはその数の処理のために超高速に最適化されたNumPyを使用します。インストールはこちらをご覧ください。

spatial.distance.cosine は類似度ではなく距離を計算することに注意してください。したがって、類似性を得るには、1から値を減算する必要があります。

from scipy import spatial

dataSetI = [3, 45, 7, 2]
dataSetII = [2, 54, 13, 15]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)

に基づく別のバージョン numpyのみに

from numpy import dot
from numpy.linalg import norm

cos_sim = dot(a, b)/(norm(a)*norm(b))

cosine_similarity関数フォームドキュメントを使用できますsklearn.metrics.pairwise

In [23]: from sklearn.metrics.pairwise import cosine_similarity

In [24]: cosine_similarity([[1, 0, -1]], [[-1,-1, 0]])
Out[24]: array([[-0.5]])

ここではパフォーマンスはそれほど重要ではないと思いますが、抵抗することはできません。zip（）関数は、両方のベクトル（実際には行列転置の詳細）を完全に再コピーして、「Pythonic」の順序でデータを取得します。ナットとボルトの実装の時間を計ることは興味深いでしょう：

import math
def cosine_similarity(v1,v2):
    "compute cosine similarity of v1 to v2: (v1 dot v2)/{||v1||*||v2||)"
    sumxx, sumxy, sumyy = 0, 0, 0
    for i in range(len(v1)):
        x = v1[i]; y = v2[i]
        sumxx += x*x
        sumyy += y*y
        sumxy += x*y
    return sumxy/math.sqrt(sumxx*sumyy)

v1,v2 = [3, 45, 7, 2], [2, 54, 13, 15]
print(v1, v2, cosine_similarity(v1,v2))

Output: [3, 45, 7, 2] [2, 54, 13, 15] 0.972284251712

これは、要素を1つずつ抽出するCのようなノイズを通過しますが、配列の一括コピーを行わず、1つのforループで重要なすべての処理を実行し、1つの平方根を使用します。

ETA：print呼び出しを関数に更新しました。（オリジナルは3.3ではなくPython 2.7でした。現在のバージョンはPython 2.7で実行され、from __future__ import print_functionステートメントを実行しています。）出力はどちらの方法でも同じです。

3.0 GHz Core 2 Duo上のCPYthon 2.7.3：

>>> timeit.timeit("cosine_similarity(v1,v2)",setup="from __main__ import cosine_similarity, v1, v2")
2.4261788514654654
>>> timeit.timeit("cosine_measure(v1,v2)",setup="from __main__ import cosine_measure, v1, v2")
8.794677709375264

したがって、この場合、Pythonを使わない方法の方が約3.6倍高速です。

インポートを使用せずに

math.sqrt（x）

と置き換えることができます

x ** .5

numpy.dot（）を使用せずに、リスト内包表記を使用して独自のドット関数を作成する必要があります。

def dot(A,B): 
    return (sum(a*b for a,b in zip(A,B)))

次に、コサイン類似度式を適用するという単純な問題です。

def cosine_similarity(a,b):
    return dot(a,b) / ( (dot(a,a) **.5) * (dot(b,b) ** .5) )

私がやったベンチマークをいくつかの問題の答えと、次のスニペットは最良の選択であると考えられているに基づいて：

def dot_product2(v1, v2):
    return sum(map(operator.mul, v1, v2))


def vector_cos5(v1, v2):
    prod = dot_product2(v1, v2)
    len1 = math.sqrt(dot_product2(v1, v1))
    len2 = math.sqrt(dot_product2(v2, v2))
    return prod / (len1 * len2)

その結果、に基づく実装scipyが最速ではないことに驚かされます。私はプロファイリングし、scipyのコサインがpythonリストからnumpy配列にベクトルをキャストするのに長い時間がかかることを発見しました。

import math
from itertools import izip

def dot_product(v1, v2):
    return sum(map(lambda x: x[0] * x[1], izip(v1, v2)))

def cosine_measure(v1, v2):
    prod = dot_product(v1, v2)
    len1 = math.sqrt(dot_product(v1, v1))
    len2 = math.sqrt(dot_product(v2, v2))
    return prod / (len1 * len2)

計算後に丸めることができます。

cosine = format(round(cosine_measure(v1, v2), 3))

本当に短くしたい場合は、次のワンライナーを使用できます。

from math import sqrt
from itertools import izip

def cosine_measure(v1, v2):
    return (lambda (x, y, z): x / sqrt(y * z))(reduce(lambda x, y: (x[0] + y[0] * y[1], x[1] + y[0]**2, x[2] + y[1]**2), izip(v1, v2), (0, 0, 0)))

Pythonでこれを行うには、単純な関数を使用します。

def get_cosine(text1, text2):
  vec1 = text1
  vec2 = text2
  intersection = set(vec1.keys()) & set(vec2.keys())
  numerator = sum([vec1[x] * vec2[x] for x in intersection])
  sum1 = sum([vec1[x]**2 for x in vec1.keys()])
  sum2 = sum([vec2[x]**2 for x in vec2.keys()])
  denominator = math.sqrt(sum1) * math.sqrt(sum2)
  if not denominator:
     return 0.0
  else:
     return round(float(numerator) / denominator, 3)
dataSet1 = [3, 45, 7, 2]
dataSet2 = [2, 54, 13, 15]
get_cosine(dataSet1, dataSet2)

numpyを使用して、数値の1つのリストを複数のリスト（マトリックス）と比較します。

def cosine_similarity(vector,matrix):
   return ( np.sum(vector*matrix,axis=1) / ( np.sqrt(np.sum(matrix**2,axis=1)) * np.sqrt(np.sum(vector**2)) ) )[::-1]

この単純な関数を使用して、コサイン類似度を計算できます。

def cosine_similarity(a, b):
return sum([i*j for i,j in zip(a, b)])/(math.sqrt(sum([i*i for i in a]))* math.sqrt(sum([i*i for i in b])))

既にPyTorchを使用している場合は、それらのCosineSimilarity実装を使用する必要があります。

2 n次元numpy.ndarrayの、v1およびv2、つまりそれらの形状が両方であるとし(n,)ます。ここでは、コサインの類似性を取得する方法を示します。

import torch
import torch.nn as nn

cos = nn.CosineSimilarity()
cos(torch.tensor([v1]), torch.tensor([v2])).item()

または、2つnumpy.ndarrayのw1とがありw2、両方の形状がであるとします(m, n)。以下は、コサイン類似度のリストを取得します。それぞれは、の行w1との対応する行の間のコサインの類似度ですw2。

cos(torch.tensor(w1), torch.tensor(w2)).tolist()

すべての回答は、NumPyを使用できない状況に最適です。可能であれば、ここに別のアプローチがあります：

def cosine(x, y):
    dot_products = np.dot(x, y.T)
    norm_products = np.linalg.norm(x) * np.linalg.norm(y)
    return dot_products / (norm_products + EPSILON)

またEPSILON = 1e-07、分割を確保することを念頭に置いてください。