LevenshteinとDifflibの類似性をすばやく視覚的に比較したい場合は、約230万冊の本について両方を計算しました。
import codecs, difflib, Levenshtein, distance
with codecs.open("titles.tsv","r","utf-8") as f:
title_list = f.read().split("\n")[:-1]
for row in title_list:
sr = row.lower().split("\t")
diffl = difflib.SequenceMatcher(None, sr[3], sr[4]).ratio()
lev = Levenshtein.ratio(sr[3], sr[4])
sor = 1 - distance.sorensen(sr[3], sr[4])
jac = 1 - distance.jaccard(sr[3], sr[4])
print diffl, lev, sor, jac
次に、Rを使用して結果をプロットしました。
好奇心旺盛な方のために、Difflib、Levenshtein、Sørensen、Jaccardの類似値も比較しました。
library(ggplot2)
require(GGally)
difflib <- read.table("similarity_measures.txt", sep = " ")
colnames(difflib) <- c("difflib", "levenshtein", "sorensen", "jaccard")
ggpairs(difflib)
結果:
Difflib / Levenshteinの類似性は非常に興味深いものです。
2018年の編集:同様の文字列の特定に取り組んでいる場合は、minhashingを確認することもできます。ここに優れた概要があります。Minhashingは、大規模なテキストコレクションの類似点を線形時間で見つけるのに優れています。私のラボでは、minhashingを使用してテキストの再利用を検出および視覚化するアプリをここにまとめました:https : //github.com/YaleDHLab/intertext