95パーセンタイルの計算：正規分布、R分位、およびExcelアプローチの比較

次のデータセットで95パーセンタイルを計算しようとしていました。私はそれを行うためのいくつかのオンライン参照に出会いました。

アプローチ1：サンプルデータに基づく

最初のものは得ることが私に語っTOP 95 Percent選択し、次にデータセットのをし、MINまたはAVG結果セットの。次のデータセットに対してこれを行うと、次のことがわかります。

AVG: 29162
MIN: 0

アプローチ2：正規分布を仮定

二つ目は、第95パーセンタイルは約2標準偏差の平均を上回っている（私は理解している）と私が実行したことを言います：

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

アプローチ3：R分位点

以前Rは95パーセンタイルを取得していました。

> quantile(data$V1, 0.95)
79515.2

アプローチ4：Excelのアプローチ

最後に、私はこれに出会いました。それはExcelがそれをどのように行うかを説明しています。メソッドの概要は次のとおりです。

N順序付けられた値のセットと{v[1], v[2], ...}、pthパーセンタイルを計算するための要件が与えられたら、次の手順を実行します。

計算する l = p(N-1) + 1
l整数と小数のコンポーネントに分割l = k + d
必要な値を次のように計算します V = v[k] + d(v[k+1] - v[k])

この方法は私に与えます 79515.2

Rの値は正しいと信じていますが、値は一致しません（ecdfプロットからも観察しました）。私の目標は、特定のデータセットから95番目のパーセンタイルを（AVGおよびSTDEV関数のみを使用して）手動で計算することであり、ここで何が起こっているのか実際にはわかりません。誰かが私が間違っている場所を教えてもらえますか？

r dataset quantiles sql

— 伝説
ソース

最初のアプローチを書き直す必要があります。「値の上位5％を取得してそれらの最小値を見つける」、この場合は79586、または「下位95％を取得して最大値を見つける」、この場合は79535。-

— ヘンリー

回答:

私の意見では、最初のアプローチは完全に間違っており、95パーセンタイルとは関係ありません。

2番目のアプローチは、データが正規分布しているという仮定に基づいているようですが、2標準偏差ではなく、平均より約1.645標準偏差である必要があり、これに気付いたようです。データが正常に配信されない場合、これは貧弱な方法です。

95パーセンタイルを自分で計算する場合は、数値を最小から最大の順に並べ、データの95％がその値を下回るような値を見つけます。Rは、おそらくデータポイント間の何らかの補間を使用します。簡単な近似があるかもしれませんsort(data$V1)[0.95*length(data$V1)]。

@Macroからのコメントの後に編集。

— mark999
ソース

ソリューションをdata$V1事前に並べ替える必要があります。より一般的にはsort(data$V1)[.95*length(data$V1)]、がお望みの近似値になります。ただし、.95*length(data$V1)が整数でない場合、インデックスを作成するときに最も近い整数に切り捨てられるsort(data$V1)ため、この場合、この近似値は常に過小評価されます。

— マクロ

ご意見をありがとうございます。過小評価については知っていたので、単純な近似と呼んでいましたが、ソートを含めるのを忘れていました。答えを編集します。

— -mark999

@ mark999の答えを補足するいくつかのポイントを以下に示します。

ウィキペディアにはパーセンタイルに関する記事があり、パーセンタイルの標準的な定義は存在しないことに注意されています。ただし、いくつかの式について説明します。
クロフォード、J .; Garthwaite、P.＆Slick、D.神経心理学におけるパーセンタイル規範について：テストスコアのパーセンタイルランクに関する不確実性を定量化するための提案された報告基準と方法The Clinical Neuropsychologist、Psychology Press、2009、23、1173-1195（FREE PDF）心理学の規範的文脈内でのパーセンタイルの計算。

以下では、Rのいくつかのことを検討します。

データを取得し、R分位関数を調べる

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) は、Rに9つの異なる変位値推定アルゴリズムがあることを示しています。
もう1つの出力は、9つのアルゴリズムの推定値と、推定値以下のデータの割合を示しています（つまり、すべての値が95％に近い）。

正規分布の仮定と比較

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

サンプル平均と標準偏差に基づいて、正規分布の95パーセンタイルに対して非常に異なる値が推定されます。
推定値は、サンプルデータの約84パーセンタイルです。
以下のプロットは、データが明らかに正規分布していないことを示しています。したがって、正規性は遠い将来になると仮定して推定しています。

plot（density（x））

ここに画像の説明を入力してください

— ジェロミー・アングリム
ソース

非常に良い答えを提供してくれました。私は、ほとんどの場合、9つの推定値の差が非常に小さく、ほとんど問題ではないと思われることを付け加えます。

— ピーターフロム-モニカの復職

変位値に関するウィキペディアの記事は、パーセンタイルに関する記事よりも優れています

— ヘンリー

Rが75500から75600の間の数値を与えているはずなので、ここで何かが間違っています。1345の値の一部が失われましたか？

— ヘンリー

@ヘンリー、ありがとう。質問の入力用に表示される行数を最小限に抑えるために、c（...）コマンドを数行だけに配置しました。その結果、データの一部が途切れてしまうようなコマンドラインの長さ制限に遭遇したと思います。通常、このようなデータは別のファイルにあるため、この問題は一度も見たことがありません。c（...）コマンドが120行にまたがるように、スクリプトと出力を更新しました。要旨参照gist.github.com/1102127

— Jeromy Anglim

+1追加情報ありがとうございます。あなたがこれを投稿したとき、私は好奇心からQQプロットを使用して分布を見ていましたが、同じ結論に達しました。お時間をいただきありがとうございます。

— 伝説