評価の信頼区間を見つける方法は？

32

Evan Millerの「平均評価でソートしない方法」では、信頼区間の下限を使用して、評価されたアイテムの実用的な集計「スコア」を取得することを提案しています。ただし、ベルヌーイモデルでは機能しています。評価は「いいね」または「いいね」です。

アイテムの評価の数が少ないと仮定して、離散スコアを星に割り当てる評価モデルに使用する合理的な信頼区間とは何ですか？ $1$ $k$

私は、ウィルソンとアグレスチ-クール間隔の中心をどのように適応させるかを見ることができると思います

\tilde{p} = \frac{\sum_{i = 1}^{n} x_{i} + z_{α / 2}^{2} p_{0}}{n + z_{α / 2}^{2}}

$\tilde{p} = \frac{\sum_{i=1}^n{x_i} + z_{\alpha/2}^2\; p_0}{n + z_{\alpha/2}^2}$

ここで、または（おそらくより良い）すべてのアイテムの平均評価です。ただし、間隔の幅を調整する方法がわかりません。私の（改訂された）最高の推測は $p_0 = \frac{k+1}{2}$

\overset{〜}{p} \pm \frac{z_{α / 2}}{\overset{〜}{n}} \sqrt{\frac{\sum_{私 = 1}^{n} （ {バツ}_{私} - \overset{〜}{p} ）^{2} + z_{α / 2} （ p_{0} - \overset{〜}{p} ）^{2}}{\overset{〜}{n}}}

$\tilde{p} \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\frac{\sum_{i=1}^n{(x_i - \tilde{p})^2} + z_{\alpha/2}(p_0-\tilde{p})^2}{\tilde{n}}}$

、私は以上のようことを取る、Agresti-Coullのアナロジーとして手振ると正当化することができません $\tilde{n} = n + z_{\alpha/2}^2$

見積もり （ \bar{バツ} ） \pm \frac{z_{α / 2}}{\overset{〜}{n}} \sqrt{見積もり （ ヴァール （ バツ ） ）}

$\text{Estimate}(\bar{X}) \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\text{Estimate}(\text{Var}(X))}$

適用される標準的な信頼区間はありますか？（私はジャーナルの購読や大学図書館への簡単なアクセスを持っていないことに注意してください;必ず適切な参考文献を与えてください、しかし実際の結果を補足してください！）

confidence-interval estimation

— ピーター・テイラー
ソース

4

現在の返信は（おそらく丁寧さから）この問題を回避しているため、このアプリケーションは信頼限界のひどい乱用であることを指摘したいと思います。平均をランク付けするためにLCLを使用する理論的な正当性はありません（LCLが実際にランク付けのために平均自体よりも悪い理由はたくさんあります）。したがって、この質問はひどく欠陥のあるアプローチに基づいているため、比較的注目を集めていない理由かもしれません。

— whuber

2

この特定の質問の優れた機能は、実際の質問を無視し、より重要な根本的な質問と思われるものに焦点を当てるのに十分なコンテキストが含まれていることです。

— カール

1

変更されたタイトルを好みに合わせて変更してくれてうれしいです、ピーター。私の元の編集は、利己的なものではなく、タイトルが質問のテキストを反映するように行われました。あなたはあなたが本当に意味することの最終的な調停者です。

— whuber

23

Karl Bromanが答えで言ったように、ベイジアンのアプローチは信頼区間を使用するよりもはるかに良いでしょう。

信頼区間の問題

信頼区間の使用がうまく機能しないのはなぜですか？1つの理由は、アイテムの評価があまりない場合、信頼区間が非常に広くなるため、信頼区間の下限が小さくなるためです。したがって、多くの評価のないアイテムはリストの一番下に表示されます。

ただし、直感的には、多くの評価のないアイテムを平均アイテムの近くにしたいので、アイテムの推定評価をすべてのアイテムの平均評価に合わせて小刻みにしたい（つまり、推定評価を前のアイテムに押し付けたい）。これはまさにベイジアンアプローチが行うことです。

ベイジアンアプローチI：評価に対する正規分布

カールの答えのように、推定格付けを事前に移動する1つの方法は、の形式の推定を使用することです。 $w*R + (1-w)*C$

は、アイテムの評価の平均です。 $R$
は、すべてのアイテムの平均です（または、評価を縮小する前のものは何でも）。 $C$
式は、と重み付けされた組み合わせにすぎないことに注意してください。 $R$ $C$
はに割り当てられた重みですはビールのレビュー数、はある種の定数「しきい値」パラメーターです。 $w = \frac{v}{v+m}$ $R$ $v$ $m$
なお際、我々が現在の項目の評価がたくさんあるとき、すなわち、その後、非常に大きい、当社の推定評価は非常に近くにあるので、非常に近い1にある、我々は前に少し注意を払う。ただし、が小さい場合、は0に非常に近いため、推定される評価では、以前の重みが置かれます。 $v$ $w$ $R$ $C$ $v$ $w$ $C$

実際、この評価は、個々の評価がその平均を中心とする正規分布に由来する場合、アイテムの平均評価の事後評価としてベイジアン解釈を与えることができます。

ただし、評価が正規分布に由来すると仮定すると、2つの問題があります。

正規分布は連続的ですが、評価は離散的です。
アイテムの評価は、必ずしも単峰性のガウス形状に従うとは限りません。たとえば、あなたのアイテムは非常に偏光しているため、人々は非常に高い評価を与えるか、非常に低い評価を与える傾向があります。

ベイジアンアプローチII：評価に対する多項分布

$p_1$ $p_2$

もちろん、これらの確率が何であるかはわかりません。このアイテムの評価が増えるにつれて、推測できます。 $p_1$ $\frac{n_1}{n}$ $n_1$ $n$ $Dir(\alpha_1, \ldots, \alpha_k)$

$\alpha_i$ $i$ $\alpha_1 = 2$ $\alpha_2 = 1$ $\alpha_i$

$\alpha_i$ $\alpha_i$ $i$ $\alpha_i$

次に、実際の評価が入ってきたら、そのカウントをDirichletの仮想カウントに追加するだけです。アイテムの評価を見積もる場合は、アイテムのすべての評価（仮想評価と実際の評価の両方）を単純に平均します。

— レグチン
ソース

1

アプローチ2は、アプローチ1と同じように機能しますが、正当化は異なりますか？

— ピーターテイラー

2

@ピーター：ああ、本当！あなたがそれに言及するまで気づかなかった=）。（あなたがやりたいのは、事後の平均を取ることである場合、それらは同一です。異なる種類のスコア、例えば、ある種の極性尺度を計算したい場合、ディリクレ事後を持つことは有用かもしれませんまれなことかもしれません。）

— raegtin

1

m

$m$

15

この状況は、ベイジアンアプローチを求めています。評価のベイジアンランキングのための簡単なアプローチがここにあります（興味深いコメントに特に支払う）、そしてここに、そしてこれらのさらなるコメントはここにあります。これらのリンクの最初のコメントの1つが指摘しているように：

Best of BeerAdvocate（BA）...は、ベイジアン推定を使用しています。

加重ランク（WR）=（v /（v + m））×R +（m /（v + m））×C

ここで、
R =ビールのレビュー平均
v = ビールのレビュー数
m =リストに必要な最小レビュー（現在10）
C =リスト全体の平均（現在2.5）

— カール
ソース

2

Beer Advocateメソッドの欠点は、ばらつきを考慮していないことです。それにもかかわらず、私はこの考え方を、信頼限界の下限のアイデアよりも好みます。

— カール