各有権者の精度と関連する不確実性を使用する投票システム

たとえば、答えを知りたい単純な「はい/いいえ」の質問があるとします。そして、正解に「投票」するN人がいます。すべての有権者には履歴があります。1と0のリストで、過去にこの種の質問が正しかったか間違っていたかを示します。履歴を2項分布と仮定すると、そのような質問に対する有権者の平均パフォーマンス、その変動、CI、およびその他の種類の信頼性指標を見つけることができます。

基本的に、私の質問は、信頼情報を投票システムに組み込む方法ですか？

たとえば、各有権者の平均パフォーマンスのみを考慮する場合、単純な重み付け投票システムを構築できます。

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

つまり、投票者の重みに（「はい」の場合）または（「いいえ」の場合）を掛けた値を合計するだけです。それは理にかなっています：有権者1がに等しい正解の平均を持ち、有権者2がしか持っていない場合、おそらく、一人称投票がより重要であると考えられるべきです。一方、1人がこの種の質問に10個しか回答せず、2人が1000個の質問に回答した場合、2人目のスキルレベルは1人目よりもはるかに自信があります。1人目が幸運だった可能性があります。、そして10の比較的成功した答えの後、彼はずっと悪い結果を続けます。 $+1$ $-1$ $.9$ $.8$

したがって、より正確な質問は次のように聞こえるかもしれません：いくつかのパラメーターについての強度と信頼性の両方を組み込んだ統計的メトリックはありますか？

— ffriend
ソース

有権者の専門知識をシステムの潜在変数と見なす必要があります。その後、ベイジアン推論で問題を解決できる場合があります。グラフィカルモデルとしての表現は次のようになります。

グラフィカルモデル

レッツは、変数の意味、真の答えを有権者の投票のためにとその歴史について。また、ような"専門知識"パラメータがあるとします。これらのにいくつかを事前に設定した場合（たとえば、Betaの事前設定など）、ベイズの定理を使用して、を介して統合して $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

これらのシステムは解決が困難です。EMアルゴリズムを近似として使用するか、完全な尤度最大化スキームを使用して正確なベイズ推定を実行できます。

このタスクを解決するための詳細なアルゴリズムについては、このペーパー「クラウドソーシングの変分推論」、Liu、Peng、およびIhler 2012（昨日NIPSで発表！）をご覧ください。

— エミール
ソース

回答ありがとうございます。少し具体的に教えていただけませんか。特に、専門知識とはどういう意味ですか？その人が正しく答える確率である場合は、以前の答えの平均としての推定がすでにあるので、潜在的ではありません。専門知識よりも平均値と信頼度の両方が推定値に組み込まれているという意味である場合、どのように確率を伝播して専門知識と結果を得ることができますか？

— ffriend

はい、この「専門知識」変数とベイズ推定により、平均と信頼の両方を表すことができます。私はいくつかの説明と私の回答への参照を追加しました。お役に立てば幸いです。

— エミール