スコア文字列の類似性

大量のドキュメントがあり、大量のキーと値のペアが含まれています。キーは一意ではない可能性があるため、値が異なる同じタイプのキーが複数存在する可能性があります。

2つのドキュメント間のキーの類似性を比較したい。より具体的には、これらの値の文字列の類似性。類似性を比較するために、スミス-ウォーターマンアルゴリズムのようなものを使用することを考えています。

それで、データを表現することについて私がどのように考えているかを描いた-

セルの値は、smith-watermanアルゴリズム（またはその他の文字列類似性メトリック）の結果です。

このマトリックスが「もの」の主要なタイプを表しているというイメージ次に、「もの」の類似度スコアを0または1のベクトルに追加する必要があります。

私が理解できないのは、マトリックスが似ているか似ていないかを判断する方法です-理想的には、マトリックスを0と1の間の数値に変換し、しきい値を設定して0または1。

マトリックスのスコアを作成する方法はありますか？この種のことを行うアルゴリズムを知っている人はいますか？

私が理解したように、ドキュメント1とドキュメント2のキーの数は異なる場合があります。そして、あなたは0と1の間の最終的な類似性評価を得たいと思っています。もしそうなら、私は以下のアルゴリズムを提案します：

1. 最大の合計 valsは0です。
2. doc-docマトリックスから最大値を選択し、それをSum of maxに追加します。値。
3. 最大値を持つ行と列を行列から削除します。
4. 行または列が終了するまで、手順2〜3を繰り返します。
5. 最大の合計を指定します。2つのテキストのキーワードの平均数による値。

両方のドキュメントが同じ長さで、Doc 1のすべての単語がDoc 2で同等である場合、最終的な見積もりは1になります。

あなたはソフトウェアについて言及していませんが、使用していますが、そのような類似性を計算する関数のRの例を次に示します（入力としてクラスマトリックスのオブジェクトを取ります）：

eval.sim <- function(sim.matrix){
  similarity <- 0
  denominator <- sum(dim(sim.matrix)) / 2
  for(i in 1:(min(c(nrow(sim.matrix), ncol(sim.matrix))) - 1)){
    extract <- which(sim.matrix == max(sim.matrix), arr.ind=T)[1, ]
    similarity <- similarity + sim.matrix[extract[1], extract[2]]
    sim.matrix <- sim.matrix[-extract[1], -extract[2]]
  }
  similarity <- similarity + max(sm.copy)
  similarity <- similarity / denominator
}

Pythonでは-

import numpy as np

def score_matrix(sim_matrix):
    similarity = 0
    denominator = sum(sim_matrix.shape) / 2
    for i in range(min(sim_matrix.shape)):
        x, y = np.where(sim_matrix == np.max(sim_matrix))[0][0], np.where(sim_matrix == np.max(sim_matrix))[1][0]
        similarity += sim_matrix[x, y]
        sim_matrix = np.delete(sim_matrix,(x),axis=0)
        sim_matrix = np.delete(sim_matrix,(y),axis=1)
    return similarity / denominator

マトリックスを数値（類似性の尺度）に変換することが目的である場合は、マトリックスノルムを使用できます。

たとえば、例でフロベニウスノルムを使用すると、1.488086が返されます。

あなたの目標は、2つのドキュメントがどのように類似しているかを見つけることだと思います。

このアプローチでは、Doc1とDoc2の類似性がどれだけあるかがわかります。（正方行列でない場合、Doc2 wrt Doc1の類似度の値は異なります）

1. Doc1とDoc2の間のマトリックスで、行ごとに最大類似値を取得します。
   2. 合計を取り、行数で割ります
   3. これにより、類似性インデックスが得られます。たとえば あなたのマトリックス画像では、行ごとの最大の類似性が0.88、1、0.6なので、（0.88 + 1 + 0.6）/ 3 = 82.67％であることがわかります。

つまり、Doc2は82.67％がDoc1と似ています。各行で最大の類似アイテムを選択したため、類似性はこの値を超えることはできません。