二項信頼区間の推定-なぜ対称ではないのですか？

30

次のrコードを使用して、二項比率の信頼区間を推定しました。これは、母集団の病気の検出を見る受信者動作特性曲線設計を設計するときに「電力計算」の代わりになることを理解しているためです。

nは150であり、この病気は人口の25％であると考えられています。私は、75％の感度と90％の特異性の値を計算しました（これは人々がしているように見えるからです）。

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

私もこのサイトを訪れました：

http://statpages.org/confint.html

これは、二項信頼区間を計算するJavaページであり、同じ答えを提供します。

とにかく、その長いセットアップの後、なぜ信頼区間が対称ではないのか、たとえば感度が

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579

これが馬鹿げた質問であれば申し訳ありませんが、私が見ているどこでも彼らは対称的であると示唆しているようで、私の同僚は彼らもそうだと思っているようです。

confidence-interval binomial

— クリス・ビーリー
ソース

20

非常に頻繁に通常の近似が使用されるため、それらは対称であると考えられています。これは、pが約0.5の場合に十分に機能します。binom.test一方、F分布に基づく「正確な」クロッパー-ピアソン間隔を報告します（両方のアプローチの正確な公式については、こちらを参照してください）。RにClopper-Pearson間隔を実装する場合、次のようになります（注を参照）。

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

リンクと実装の両方で、上限と下限の式が完全に異なっていることがわかります。対称信頼区間の唯一のケースは、p = 0.5の場合です。リンクの数式を使用し、この場合はことを考慮に入れると、それがどのように発生するかを簡単に導き出すことができます。 $n = 2\times x$

個人的には、ロジスティックアプローチに基づいて信頼区間を確認する方が良いと理解しました。二項データは通常、次のように定義されるロジットリンク関数を使用してモデル化されます。

l o g i t (x) = \log (\frac{x}{1 - x})

${\rm logit}(x) = \log\! \bigg( \frac{x}{1-x} \bigg)$

このリンク関数は、ロジスティック回帰の誤差項を正規分布に「マッピング」します。結果として、ロジスティックフレームワークの信頼区間は、従来の線形回帰フレームワークのように、ロジット値に関して対称です。ロジット変換は、線形回帰に関する正規性ベースの理論全体を使用できるようにするために正確に使用されます。

逆変換を行った後：

{l o g i t}^{- 1} (x) = \frac{e^{x}}{1 + e^{x}}

${\rm logit}^{-1}(x) = \frac{e^x}{1+e^{x}}$

非対称間隔が再び発生します。現在、これらの信頼区間は実際に偏っています。特に二項分布の境界では、カバレッジは期待したものではありません。しかし、実例として、二項分布に非対称な信頼区間があるのは論理である理由を示しています。

Rの例：

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

注：実際、Rはベータ分布を使用しますが、これは完全に同等であり、計算上少し効率的です。したがって、Rでの実装はここで示したものとは異なりますが、まったく同じ結果が得られます。

— ジョリス・メイズ
ソース

2

あなたは本当にロジットが「二項分布を正規分布に変換する」と言うつもりでしたか??

— whuber

@whuber：公式の素晴らしいキャッチ、そして公式の素晴らしいキャッチ。ほとんどありません。ロジスティック回帰のエラーが正規分布に従うようにします。修正のためのThx。

— ジョリスメイズ

簡単な技術メモ、「アークサイン」変換は、ロジスティック変換よりも正常性への収束が速いものです。

設定

（ここで、

「成功」との数である

試行回数）は、あなたがの分散という、いわゆる「デルタ方式」で表示することができ

ほぼ一定（とは独立している

、それはにする必要がありますように、正規分布）。

Y = \frac{2}{π} \arcsin \sqrt{\frac{X}{N}}

$Y=\frac{2}{\pi}\arcsin{\sqrt{\frac{X}{N}}}$

X

$X$

N

$N$

Y

$Y$

Y

$Y$

— 確率論的

「正確な確率」に指定したリンクが壊れています。もう一つありますか？

— S. Kolassa-モニカーの復活

@StephanKolassaあなたはここにもClopperピアソン式を見つけることができます：en.wikipedia.org/wiki/...

— ヨリスMeys

24

なぜ対称的でないのかを見るために、で、10回の試行で9回成功する状況を考えてください。次にとの95％CI [0.554、0.997]です。上限は、明らかに1より大きくすることはできませんので、不確実性のほとんどは、の左に入らなければならない。 $p=0.9$ $\hat{p}=0.9$ $p$ $\hat{p}$

— ロブ・ヒンドマン
ソース

9

@Jorisは、対称または「漸近」間隔について言及しましたが、これはおそらくあなたが期待している間隔です。@Jorisは、「正確な」クロッパー-ピアソン間隔についても言及し、非常に見栄えの良いリファレンスを提供しました。遭遇する可能性のある割合には別の信頼区間があります（対称ではないことに注意してください）。スコアテストの反転に基づく漸近区間の一種である「ウィルソン」区間です。区間解決の終点（で $p$ ）方程式

(\hat{p} - p) / \sqrt{p (1 - p)} = \pm z_{α / 2}

$(\hat{p} - p)/\sqrt{p(1-p)}=\pm z_{\alpha/2}$

Anyway, you can get all three in R with the following:

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

Note that method "wilson" is the same confidence interval used by prop.test without Yates' continuity correction:

prop.test(29, 38, correct = FALSE)

See here for Laura Thompson's free SPLUS + R manual which accompanies Agresti's Categorical Data Analysis in which these issues are discussed in great detail.

1

(+1) Nice that you cite Laura's textbook and add this complement of information about Wilson's CIs.

— chl

2

Thanks. I would like to point out that the Wilson interval is discussed in the article that @Joris referenced.

9

There are symmetric confidence intervals for the Binomial distribution: asymmetry is not forced on us, despite all the reasons already mentioned. The symmetric intervals are usually considered inferior in that

Although they are numerically symmetric, they are not symmetric in probability: that is, their one-tailed coverages differ from each other. This--a necessary consequence of the possible asymmetry of the Binomial distribution--is the crux of the matter.
Often one endpoint has to be unrealistic (less than 0 or greater than 1), as @Rob Hyndman points out.

Having said that, I suspect that numerically symmetric CIs might have some good properties, such as tending to be shorter than the probabilistically symmetric ones in some circumstances.

— whuber
ソース

With regard to the last sentence: then why not calculate the shortest confidence interval (which has equal density values instead of equal interval width or equal tail area to both sides)? With regard to 2.: having the same width to both sides of

\hat{p} = k / n

$\hat p = k/n$ does not imply that a (the normal) approximation must be used. I'd say that this particular interval does not exist if the limits would need to be extended outside [0, 1].

— cbeleitesはモニカをサポートします

@cb I don't follow this. First, a shortest CI will not necessarily have equal densities at each end. Second, the comment about "does not exist" makes no sense to me: what does "not exist" mean?

— whuber

1

shortest CI. To calculate the shortest CI for a given coverage, I'd start at the max density and enlarge a short step to the side where density is higher. There I get most confidence coverage (for the short step that is). I enlarge the c.i. repeatedly until I have the desired area (coverage). If my steps are small (infinitesimal) the density at both sides will be (approx.) the same. Did I make a mistake in this strategy?

— cbeleites supports Monica

does not exist: e.g. 4 successes out of 5. It does make sense to ask for the 95 % c.i. However if I calculate the probability density for the true

p

$p$ given that I observed 4 successes out of 5 trials, the tail above

\hat{p} = 4 / 5 = 0.8

$\hat p = 4/5 = 0.8$ is only about 0.35. Thus instead of accepting e.g. the normal approximation saying the 95% c.i. goes up to 1.15 (which cannot be correct as the the true

p

$p$ of the binomial trial cannot exceed 1, I'd say the c.i. with equal width towards lower and higher

p

$p$ does only exist for confidence levels

< 70 %

$< 70 \%$ .

— cbeleites supports Monica

1

Are we talking about different things? The binomial distribution is discrete, a c.i. would be "for

p = 0.8

$p = 0.8$ , in 94 % of the repetitions we observe

k \in {3, 4, 5}

$k \in \{3, 4, 5\}$ successes in

n = 5

$n = 5$ tests". But I understood that we are to estimate

p

$p$ for already observed

n

$n$ and

k

$k$ . E.g.

p

$p$ given that

k = 4

$k = 4$ out of

n = 5

$n = 5$ tests were successes. So I'm talking about

P r (p | n = 5, k = 4)

$Pr (p | n = 5, k = 4)$ ,

p \in [0, 1]

$p \in [0, 1]$ . This is not the binomial distribution

P r (k | n, p)

$Pr (k | n, p)$ but that of proportion

p

$p$ (I don't know its name). Please help me to understand why there is no density for this distribution?

— cbeleites supports Monica

6

Binomial distribution is just not symmetric, yet this fact emerges especially for $p$ near $0$ or $1$ and for small $n$ ; most people use it for $p\approx 0.5$ and so the confusion.

— chl
ソース

2

I know that it has been a while, but I thought that I would chime in here. Given n and p, it is simple to compute the probability of a particular number of successes directly using the binomial distribution. One can then examine the distribution to see that it is not symmetric. It will approach symmetry for large np and large n(1-p).

One can accumulate the probabilities in the tails to compute a particular CI. Given the discrete nature of the distribution, finding a particular probability in a tail (e.g., 2.5% for a 95% CI) will require interpolation between the number of successes. With this method, one can compute CIs directly without approximation (other than the required interpolation).

— Dr. Eric
ソース