2つのランキングアルゴリズムを比較する方法は？

12

2つのランキングアルゴリズムを比較したい。これらのアルゴリズムでは、クライアントは検索でいくつかの条件を指定します。クライアントの要件に従って、これらのアルゴリズムはデータベース内の各アイテムにスコアを割り当て、最高のスコアを持つアイテムを取得する必要があります。

私はこのサイトで私の質問に関連するさまざまなトピックを読み、ネットを検索しました。私の検索によると、ランキングアルゴリズムを比較するためのいくつかの指標について説明する最も関連性の高い記事は次のとおりです：Brian McFeeおよびGert RG Lanckriet、Metric Learning to Rank、ICML 2010（https://bmcfee.github.io/papers/mlr .pdf）。prec @ k、MAP、MRR、およびNDCGは、使用するのに適したメトリックスですが、問題があります。

私のアルゴリズムは結果を並べ替えるので、結果リストの最初の項目は最高のスコアを持つ最高のものであり、2番目の結果は2番目に上位のスコアになります。検索アルゴリズムを制限して、たとえば5つの最高の結果を見つけます。結果は、上位5項目です。したがって、精度は1になります。検索を制限して最良の結果を見つけると、最良の結果が検出されます。繰り返しになりますが、精度は1になりますが、問題は、この結果を見る人には受け入れられないことです。

私に何ができる？これらのアルゴリズムを比較して、一方が他方よりも優れていることを示すにはどうすればよいですか？

machine-learning precision-recall average-precision

— MK
ソース

6

割引累積ゲイン（DCG）は、検索エンジンによるランキングの評価に使用される最も一般的なメトリックの1つです。ランキング品質の尺度です。情報検索では、Web検索エンジンの有効性を測定するためによく使用されます。

次の仮定に基づいています。

関連性の高いドキュメントは、検索結果の最初の方に表示された方が便利です。
関連性の高いドキュメントは、関連性の低いドキュメントよりも優れている、わずかに関連性のあるドキュメントよりも有用です。

DCGの式は次のとおりです。

\begin{matrix} （1） & D C G_{p} = Σ_{私 = 1}^{p} \frac{r e l_{私}}{l o g_{2} （ 私 + 1 ）} = r e l_{1} + Σ_{私 = 2}^{p} \frac{r e l_{私}}{l o g_{2} （ 私 + 1 ）} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {rel_i} {log_2 (i+1)} = rel_1 + \sum_{i=2}^p \frac {rel_i} {log_2 (i+1)} \tag{1}$

どこ：

iは、検索結果で返されたドキュメントの位置です。
$rel_i$ は、ドキュメントの段階的な関連性です
したがって、p（返された結果の数）を合計すると、累積された累積ゲインにより、返された結果のパフォーマンスメトリックが得られます。

DCGは、次の式で与えられるCG（累積ゲイン）から導出されます。

\begin{matrix} （2） & C G_{p} = Σ_{私 = 1}^{p} r e l_{私} \end{matrix}

$CG_p = \sum_{i=1}^p rel_i \tag{2}$

（2）から、結果の順序を変更してもは変更されないことがます。したがって、この問題を克服するためにDCGが導入されました。DCGには別の形式があります。これは、ドキュメントの検索を非常に重視するために一般的です。このバージョンのDCGは、以下によって提供されます。 $CG_p$

\begin{matrix} （3） & D C G_{p} = Σ_{私 = 1}^{p} \frac{2^{r e l_{私}} - 1}{l o g_{2} （ 私 + 1 ）} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {2^{rel_i} - 1} {log_2 (i+1)} \tag{3}$

（1）と（3）に示されているDCG方程式の明らかな欠点の1つは、異なる数の結果を返すアルゴリズムを効果的に比較できないことです。これは、の値が高くなるほど、の値がなるためです。 $p$ $DCG_p$

この問題を克服するために、正規化されたDCG（nDCG）が提案されています。それは、

ん D C G_{p} = \frac{D C G_{p}}{私 D C G_{p}}

$nDCG_p = \frac {DCG_p} {IDCG_p}$

$IDCG_p$ $DCG_p$

私 D C G_{p} = Σ_{私 = 1}^{| R E L |} \frac{2^{r e l_{私}} - 1}{l o g_{2} （ 私 + 1 ）}

$IDCG_p = \sum_{i=1}^{|REL|} \frac {2^{rel_i} - 1} {log_2 (i+1)}$

どこ| REL | 位置pまでのコーパスで、関連性によって順序付けられたドキュメントのリストです。

完璧なランキングアルゴリズムの場合、

D C G_{p} = 私 D C G_{p}

$DCG_p = IDCG_p$

nDCGの値は[0,1]の範囲内でスケーリングされるため、これらのメトリックを使用してクロスクエリ比較が可能です。

欠点： 1. nDCGは結果の不良ドキュメントの検索にペナルティを課しません。これは、ドキュメントに関連する関連性の値を調整することで修正できます。2. nDCGは不足しているドキュメントにペナルティを課しません。これは、検索サイズを修正し、不足しているドキュメントの最小スコアを使用することで修正できます。

nDCGの計算例については、これを参照してください。

参照

— m1cro1ce
ソース

0

役立つリソース：

http://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt
http://www.nii.ac.jp/TechReports/05-014E.pdf
http://www.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
http://hal.archives-ouvertes.fr/docs/00/72/67/60/PDF/07-busa-fekete.pdf
情報検索のためのランク付けの学習（Tie-Yan Liu）

— ルノー
ソース