エキスパートセットを注文またはランク付けするにはどうすればよいですか？

ある分野の専門家を多数含むデータベースがあります。これらの各エキスパートについて、私は次のようなさまざまな属性/データポイントを持っています。

• 経験年数。
• ライセンス
• レビューの数
• それらのレビューのテキストコンテンツ
• 速度、品質などのさまざまな要因に対する、これらの各レビューの5つ星評価。
• 賞、協会、会議など

これらの専門家の重要性に基づいて、10人中1人に評価を付けたいと思います。一部の専門家にとって、一部のデータポイントが欠落している可能性があります。今私の質問はどのように私はそのようなアルゴリズムを思いつくのですか？誰かが私にいくつかの関連文献を指摘できますか？

また、私はすべての評価/レビューと同様に、いくつかの値の近くで数値がまとまる可能性があることを懸念しています。たとえば、それらのほとんどが8または5になる可能性があります。わずかな属性の違いを強調して、一部の属性のみのスコアのより大きな違いに変える方法はありますか？

私が考えた他のいくつかの議論は関連しているかもしれません：

• 各評価に複数のカテゴリがあるベイジアン評価システム
• IMDBの映画の評価をどのように計算しますか？
• 専門家から事前情報を引き出す
• 賛成票と反対票としての入力を使用した最良のランキングアルゴリズムにはどのようなものがありますか？

人々は、複数の基準に基づいて（専門家など）物事を評価するための数多くのシステムを発明しました。リストについては、多基準意思決定分析の Wikipediaページにアクセスしてください。ただし、そこに十分に表されていないのは、最も防御可能な方法の1つであるマルチ属性評価理論です。 これには、（a）個々の変数の値を再表現する適切な方法を決定し、（b）再表現された値を重み付けしてランキングのスコアを取得するために、基準のセット間のトレードオフを評価する一連のメソッドが含まれます。原理は単純で防御可能であり、数学は弾みがなく、理論には空想はありません。任意のスコアリングシステムを発明するのではなく、より多くの人々がこれらの方法を知って実践する必要があります。

結局のところ、これは単なる統計的な演習ではないかもしれません。PCAは非常に強力な定量的方法であり、ランク付けに使用できる最初のいくつかの主成分についてスコアまたは重みを生成できます。ただし、主成分が何であるかを説明することは非常に困難です。それらは定量的な構造です。彼らは弁証法のものではありません。したがって、それらが真に意味することを説明することは時々不可能です。これは、定量的でないオーディエンスがいる場合に特に当てはまります。彼らはあなたが何について話しているのか分からないでしょう。そして、あなたのPCAをいくつかの不可解なブラックボックスと考えます。

代わりに、関連するすべての変数を並べ、重み付けのあり方に基づいて重み付けシステムを使用します。

これを部外者、顧客、ユーザー向けに開発するのであれば、ユーザーへの重み付けを決めるという柔軟性を組み込むことができれば素晴らしいと思います。
一部のユーザーは、長年の経験を認定よりもはるかに高く評価する場合があります。あなたがその決定を彼らに任せることができるなら。このように、あなたのアルゴリズムは彼らが理解していないブラックボックスではなく、彼らは慣れていません。あなたはそれを完全に透明に保ち、重要なものについての彼ら自身の相対的な評価に基づいて彼らに任せます。

これらすべての属性を定量化できると思いますか？

はいの場合、主成分分析を実行することをお勧めします。すべての相関が正である一般的なケースでは（そして、そうでなければ、いくつかの変換を使用して簡単にそこに到達できます）、最初の主成分は、重み付けされているため、エキスパートの全体的な重要性の尺度と見なすことができますすべての属性の平均（および重みは変数の対応する寄与になります-この観点では、メソッド自体が各属性の重要性を明らかにします）。各エキスパートが最初の主成分で達成するスコアは、それらをランク付けするために必要なものです。