中央値は平均よりも公平ですか？

私は最近、外れ値を排除することを意味するのではなく、一般的に中央値を使用すべきだというアドバイスを読みました。例：次の記事 http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

現在16件のレビューがあります：

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Meanを使用しているため、記事は4つ星を取得しますが、Medianを使用すると5つ星を取得します。

中央値は「公正な」裁判官ではありませんか？

実験では、中央値の誤差は常に平均よりも大きいことが示されています。中央値は悪化していますか？

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

問題は、あなたが実際に良いまたは公正な評価を持つことの意味を定義していないことです。@Kevinの回答のコメントで、ある悪いレビューがアイテムを削除した場合、それが気に入らないことを示唆しています。しかし、一方に「完全な記録」があり、もう一方に悪い評価がある2つのアイテムを比較すると、その違いが反映されるはずです。

中央値と平均値の間には、完全な（高次元の）連続体があります。値で投票を並べ替え、その順序での位置に応じた重みで加重平均を取ることができます。平均は等しいすべての重みに対応し、中央値は非ゼロの重みを取得する中央の1つまたは2つのエントリにのみ対応し、トリミングされた平均は最初と最後のカップルを除くすべてに同じ重みを与えることに対応しますが、重みを決定することもできます重みまたはのサンプルのうち番目、そこにランダムなものを投げます。たぶん、外れ値の重みが小さくなるが、それでもゼロ以外の量であるような加重平均は、中央値と平均値の優れた特性を組み合わせることができますか？n $k$$n$ exp（−（2k−1−n）$\frac{1}{1 + (2 k - 1 - n)^2}$$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

あなたが得る答えはあなたが尋ねる質問によって異なります。

平均値と中央値は異なる質問に答えます。それで、彼らは異なる答えをします。ある人が別の人よりも「公平」であることではありません。多くの場合、中央値は高度に歪んだデータ（収入など）で使用されます。しかし、そこであっても、平均が最良である場合があります。そして、時々、あなたは中心的な傾向のどんな測定も望まない。

さらに、中心傾向の尺度を与えるときは常に、広がりの尺度を与える必要があります。最も一般的な組み合わせは、平均標準偏差と中央値四分位範囲です。これらのデータでは、中央値5だけを与えることは、誤解を招く、または少なくとも有益ではないと思います。すべての投票が5だった場合、中央値も5になります。

唯一の選択肢が1〜5の範囲の整数である場合、実際に外れ値と見なすことができますか？

サンプルサイズが小さい場合、一般的な外れ値テストは失敗しますが、それは小さなサンプルに固有の問題を指摘しているに違いありません。実際、5、5、5、5、5、1のサンプルが与えられた場合、Grubbsの検定はで外れ値として1を報告します。上記のデータと同じテストでは、1が外れ値として識別されません。$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

実験では、中央値の誤差は常に平均よりも大きいことが示されています。

使用するコスト関数に依存します。

MSEは平均で最小化されます。したがって、MSE中央値を使用すると、平均よりも常に悪化します。

ただし、絶対誤差を使用する場合は、平均値が悪化します。

これに関する良い説明はここにあります：http : //www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

選択は、問題と好みによって異なります。外れ値が「中心点」の位置に大きな影響を与えたくない場合は、中央値を選択します。外れ値が気になる場合は、平均を選択します。

簡単な考え：

各評価が潜在的な連続変数から引き出されると仮定する場合、この基礎となる分布の平均ではなく、対象となる基礎となる連続変数の中央値を対象の価値として定義できます。分布が対称である場合、平均と中央値は最終的に同じ量を推定します。分布が歪んでいる場合、中央値は平均とは異なります。この場合、私の考えでは、中央値は私たちが典型的な値と考えるものとより一致するでしょう。これは、平均ではなく収入の中央値と住宅価格の中央値が一般的に報告される理由を理解するのに役立ちます。

ただし、離散値の数が少ない場合、中央値のパフォーマンスが低下します。

おそらく、何らかの密度推定手順を使用してからその中央値を取得するか、補間された中央値を使用することができます。

星評価に中央値を使用することの素晴らしい点は、（中央値の使用を認識している）賢いユーザーがシステムを「ゲーム」しないことです。

合理的なユーザーが適切な評価は4つ星であると考えているが、現在4.5つ星がある場合、4つ星を獲得する最良の方法（6つ以上の投票があると仮定）は、平均ベースの評価システムで1つ星を投票することです。

中央値ベースのシステムでは、ユーザーが合理的に選択できるのは、製品に必要な星の数だけを投票することです。

これは、星評価システムに相当するセカンドプライスオークションの一種です。

いくつかの良い答えがまだコメントの余地を残しています。

まず、中央値は外れ値を排除することを意図しているという考えに誰も反対していませんが、私はそれを修飾します。意図した意味は明らかですが、実際のデータをより複雑にすることは簡単です。せいぜい、中央値は外れ値を割引または無視することを目的としていますが、それでも保証されません。たとえば、1 1 1 5 5 5の評価では、中央値と平均値は3で一致するため、すべてが良いように見える場合があります。ただし、5を追加すると中央値が5に、1を追加すると中央値が1になります。平均はそれぞれ0.286程度移動します。したがって、ここでは平均値は中央値よりも耐性があります。この例は異常なものとして却下することができますが、とんでもないことではありません。当然のことながら、ポイントはオリジナルではありません。作成された場所の1つは、M.eller、F.とTukey、JW 1977です。データ分析と回帰。 レディング、MA：Addison-Wesley、pp.34-35。

第二に、トリムされた手段が言及されており、アイデアはより大きな推進力に値します。アナリストがどちらかを選択（投票）しなければならないように、平均値と中央値は明確な選択肢である必要はありません。各テールの特定の数の値のトリミングに基づいて、可能なすべてのトリミングされた手段を検討できます。表は、平均の計算に含まれる値の数を＃として示しています。

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

ここでの主な画像は、極端な値のためにオフになるリスクに対する一種の保険として、割引率（各テールの値を疑わしいほど無視する）を選択できることです。私が見ているのは、平均値と中央値の間のかなり滑らかな勾配です。可能な値1、2、3、4、5がすべてデータに存在するため、ここで予想されます。孤立した外れ値では、シーケンスの大きなジャンプが予想されます。

各テールの等しい数をトリムするトリミングされた手段には義務はありませんが、これについては説明しません。

第三に、例はAmazonのレビューです。コンテキストは、データをどのように要約するかを導く上で常に適切です。Amazonレビューの場合、ベストアンサーはレビューを読むことです！高学年も低学年も偽りの理由（暗黙的に：この本の著者は私の友人です）および/またはあなたの決定とは無関係です（明示的に：再販業者は私をひどく扱いました）そのようなデータをどのように要約するか、そして実際にAmazonが最大限の情報を提供している分布を示すことにより、その意味合いがわかります。

4番目の、そして最も初歩的でありながら、すべての基本的な、あなたを選択させているのは誰ですか？時々、平均と中央値の両方を報告する必要があります（前述のように、分布グラフも）。