パーセンタイルの信頼区間を取得するにはどうすればよいですか？

ドルの金額である生データ値の束があり、そのデータのパーセンタイルの信頼区間を見つけたいです。そのような信頼区間の式はありますか？

confidence-interval quantiles tolerance-interval

— グラフ
ソース

回答:

一般的な状況をカバーするこの質問は、単純な、非近似的な回答に値します。幸いにも1つあります。

が未知の分布からの独立した値であり、その分位数Iがと書くと仮定します。これは、各が（少なくとも）が以下になる可能性があることを意味します。その結果、以下のの数は二項式 $X_1, \ldots, X_n$ $F$ $q^\text{th}$ $F^{-1}(q)$ $X_i$ $q$ $F^{-1}(q)$ $X_i$ $F^{-1}(q)$ 分布。 $(n,q)$

この簡単な考察に動機付けられた、ジェラルド・ハーンとウィリアム・ミーカーのハンドブック『統計的間隔』（Wiley 1991）

両面分布フリー同類ための信頼区間 ...得られるとして $100(1-\alpha)\%$ $F^{-1}(q)$ $[X_{(l)}, X_{(u)}]$

ここで、ある順序統計量のサンプル。彼らは言うために進みます $X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$

一つは、整数を選択することができ対称的（又はほぼ対称）の周りにとその要件に可能な被写体として互いに接近として $0 \le l \le u \le n$ $q(n+1)$
$\begin{matrix} （1） & B （あなた - 1; ん、 q ） - B （ l - 1; ん、 q ） \geq 1 - α 。 \end{matrix}$ $B(u-1;n,q) - B(l-1;n,q) \ge 1-\alpha.\tag{1}$

左側の式は、Binomial 変数の値がいずれかである確率です。明らかに、これは、分布の下位に含まれるデータ値数が小さすぎない（未満）か、大きすぎない（以上）です。 $(n,q)$ $\{l, l+1, \ldots, u-1\}$ $X_i$ $100q\%$ $l$ $u$

ハーンとミーカーは、私が引用するいくつかの有用な発言を続けています。

前の間隔は、式の左辺で与えられ、実際の信頼水準ため保守的である、指定された値よりも大きい。... $(1)$ $1-\alpha$

少なくとも望ましい信頼水準を持つ、分布のない統計的区間を構築することが不可能な場合があります。この問題は、小さなサンプルから分布の裾のパーセンタイルを推定するときに特に深刻です。...場合によっては、アナリストはと非対称的に選択することでこの問題に対処できます。別の方法としては、信頼水準を下げる方法があります。 $l$ $u$

例を見てみましょう（これもHahn＆Meekerによって提供されます）。彼らは、順序付けられた集合供給「は、化学プロセスからの化合物の測定値を」とを求めるための信頼区間をパーセンタイル。彼らはとが機能すると主張しています。 $n=100$ $100(1-\alpha)=95\%$ $q=0.90$ $l=85$ $u=97$

この間隔の合計確率は、図の青いバーで示されているようにです。2つのカットオフを選択し、左尾のすべての可能性を排除することで、に到達するのと同じくらい近いですが、それでも上回っています。そして、それらのカットオフを超えている右尾。 $95.3\%$ $95\%$

中央からの値をたデータを順番に示します。 $81$

\begin{matrix} 1.49 & 1.66 & 2.05 & \dots & 24.33 & 24.72 & 25.46 & 25.67 & 25.77 & 26.64 \\ 28.28 & 28.28 & 29.07 & 29.16 & 31.14 & 31.83 & 33.24 & 37.32 & 53.43 & 58.11 \end{matrix}

$\matrix{ 1.49&1.66&2.05&\ldots&\mathbf {24.33}&24.72&25.46&25.67&25.77&26.64\\ 28.28&28.28&29.07&29.16&31.14&31.83&\mathbf{33.24}&37.32&53.43&58.11}$

で最大と最大のです。間隔は、したがって、である。 $85^\text{th}$ $24.33$ $97^\text{th}$ $33.24$ $[24.33, 33.24]$

それを再解釈してみましょう。この手順は、少なくとも持っていることになっていたカバーのチャンスパーセンタイル。それは、パーセンタイル、実際に超えた場合は手段が、我々が観察しているだろうことを、の以上のうち以下である私達のサンプルの値パーセンタイル。 多すぎる。 そのパーセンタイル未満である場合には手段は、我々が観察しているだろうことを、未満であり、当社のサンプル中またはそれ以下の値がパーセンタイル。 それは少なすぎます。 $95\%$ $90^\text{th}$ $33.24$ $97$ $100$ $90^\text{th}$ $24.33$ $84$ $90^\text{th}$ いずれの場合において-図中の赤いバーで示さとおりに-それは不利な証拠であろうこの間隔内にあるパーセンタイル。 $90^\text{th}$

と適切な選択肢を見つける1つの方法は、必要に応じて検索することです。これは、対称的な近似間隔で開始し、と両方を最大まで変化させて、適切なカバレッジの間隔を検索する方法です（可能な場合）。コードで示しています。前の例の正規分布のカバレッジをチェックするように設定されています。その出力は $l$ $u$ $l$ $u$ $2$ R

シミュレーションの平均カバレッジは0.9503でした。予想カバレッジは0.9523

シミュレーションと期待の間の一致は優れています。

#
# Near-symmetric distribution-free confidence interval for a quantile `q`.
# Returns indexes into the order statistics.
#
quantile.CI <- function(n, q, alpha=0.05) {
  #
  # Search over a small range of upper and lower order statistics for the 
  # closest coverage to 1-alpha (but not less than it, if possible).
  #
  u <- qbinom(1-alpha/2, n, q) + (-2:2) + 1
  l <- qbinom(alpha/2, n, q) + (-2:2)
  u[u > n] <- Inf
  l[l < 0] <- -Inf
  coverage <- outer(l, u, function(a,b) pbinom(b-1,n,q) - pbinom(a-1,n,q))
  if (max(coverage) < 1-alpha) i <- which(coverage==max(coverage)) else
    i <- which(coverage == min(coverage[coverage >= 1-alpha]))
  i <- i[1]
  #
  # Return the order statistics and the actual coverage.
  #
  u <- rep(u, each=5)[i]
  l <- rep(l, 5)[i]
  return(list(Interval=c(l,u), Coverage=coverage[i]))
}
#
# Example: test coverage via simulation.
#
n <- 100      # Sample size
q <- 0.90     # Percentile
#
# You only have to compute the order statistics once for any given (n,q).
#
lu <- quantile.CI(n, q)$Interval
#
# Generate many random samples from a known distribution and compute 
# CIs from those samples.
#
set.seed(17)
n.sim <- 1e4
index <- function(x, i) ifelse(i==Inf, Inf, ifelse(i==-Inf, -Inf, x[i]))
sim <- replicate(n.sim, index(sort(rnorm(n)), lu))
#
# Compute the proportion of those intervals that cover the percentile.
#
F.q <- qnorm(q)
covers <- sim[1, ] <= F.q & F.q <= sim[2, ]
#
# Report the result.
#
message("Simulation mean coverage was ", signif(mean(covers), 4), 
        "; expected coverage is ", signif(quantile.CI(n,q)$Coverage, 4))

— whuber
ソース

導出

$\tau$ $q_\tau$ $X$ $F_X^{-1}(\tau)$ $\hat{q}_\tau = \hat{F}^{-1}(\tau)$

$\sqrt{n}(\hat{q}_\tau - q_\tau)$

まず、経験累積分布関数の漸近分布が必要です。

$\hat{F}(x) = \frac{1}{n} \sum 1\{X_i < x\}$ $1\{X_i < x\}$ $P(X_i < x) = F(x)$ $F(x)(1-F(x))$

$\sqrt{n}(\hat{F}(x) - F(x)) \rightarrow N(0, F(x)(1-F(x))) \qquad (1)$

ここで、inverseは連続関数であるため、デルタ法を使用できます。

$\sqrt{n}(\overline{y} - \mu_y) \rightarrow N(0,\sigma^2)$ $g(\cdot)$ $\sqrt{n}(g(\overline{y}) - g(\mu_y)) \rightarrow N(0, \sigma^2 (g'(\mu_y))^2)$

$x=q_\tau$ $g(\cdot) = F^{-1}(\cdot)$

$\sqrt{n}(F^{-1}(\hat{F}(q_\tau)) - F^{-1}(F(q_\tau))) = \sqrt{n}(\hat{q}_\tau - q_\tau)$

$F^{-1}(\hat{F}(q_\tau)) \neq \hat{F}^{-1}(\hat{F}(q_\tau)) = \hat{q}_\tau$

ここで、上記のデルタ法を適用します。

以来 $\frac{\textrm{d}}{\textrm{d}x} F^{-1}(x) = \frac{1}{f(F^{-1}(x))}$

$\sqrt{n}(\hat{q}_\tau - q_\tau) \rightarrow N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(F^{-1}(F(q_\tau)))^2}\right) = N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(q_\tau)^2}\right)$

次に、信頼区間を作成するには、上記の分散の各項の対応するサンプルをプラグインして標準誤差を計算する必要があります。

結果

$se(\hat{q}_\tau) = \sqrt{\frac{\hat{F}(\hat{q}_\tau)(1-\hat{F}(\hat{q}_\tau))}{n \hat{f}(\hat{q}_\tau)^2}} =$ $\sqrt{\frac{\tau (1 - \tau)}{n \hat{f}(\hat{q}_\tau)^2}}$

$CI_{0.95}(\hat{q}_\tau) = \hat{q}_\tau \pm 1.96 se(\hat{q}_\tau)$

$X$

— bmciv
ソース

リンク先の記事の内容で回答を広げていただけませんか？リンクが永久に機能しない可能性があり、その場合、この回答の有用性は低くなります

— Andy

二項分布に基づく自由なCi分布と比較した、密度推定に基づくこの漸近的な結果の利点は何ですか？

— マイケルM

これは、元々リンクした記事に基づいていますか？

— Nick Stauner 2014年

はい、そのリンクを再度追加する必要がありますか？これはよく知られている結果だと思います。私は以前にクラスでそれを見たことがあり、グーグルで見つけるのは難しくありません。このような場合、リンクするかタイプアップするか、またはその両方を行う方が良いですか？

— bmciv 2014年

私は両方とも言いますが、適切な帰属のためにこれが引用されている/完全にそこから派生している場合は、編集して戻す必要があります。それ以外の場合は、編集するかどうかは問題ではないかもしれませんが、一般に、Stack Exchangeポリシーはリンクのみの回答を阻止してリンクの腐敗を回避し、原則としてリンクインデックスではなく独立したリポジトリにすることを目的としています。そのシナリオのどれだけが架空の「滑りやすい斜面」以上であるかはわかりません）。

— Nick Stauner、2014年