最初の実験の95％信頼区間内で、どのサイズの反復実験が効果サイズを持ちますか？

ランダムサンプリング、ガウス母集団、等分散、Pハッキングなしなどの理想的な状況に固執しましょう。

ステップ1. 2つの標本平均を比較するという実験を実行し、2つの母平均間の差について95％の信頼区間を計算します。

ステップ2.さらに多くの実験（数千）を実行します。平均の違いは、ランダムサンプリングのため、実験ごとに異なります。

質問：ステップ1の信頼区間内にあるのは、ステップ2の実験のコレクションの平均の差のどの部分ですか？

それは答えられません。それはすべて、ステップ1で起こったことに依存します。ステップ1の実験が非常に非定型である場合、質問に対する答えは非常に低い可能性があります。

したがって、両方のステップが何度も繰り返されることを想像してください（ステップ2がさらに何度も繰り返される）。これで、平均して、繰り返し実験のどの部分が最初の実験の95％信頼区間内に効果サイズを持っているかについての期待を考え出すことができるはずです。

研究の再現性を評価するためには、これらの質問に対する答えを理解する必要があるようです。

分析

これは概念的な問題であるので、簡略化のためのはの状況を検討してみましょう$1-\alpha$信頼区間平均のために構成されているμランダムサンプル使用して、X（1）サイズをNと第2のランダムサンプルX（図2に示すように）サイズの取得され、Mすべて同じ法線から、（μ、σ2）分布。（あなたのようなあなたは、交換することができる場合はZ学生からの値によって秒のtの分布のn-1自由度、以下の分析では変更されません。）

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

2番目のサンプルの平均が最初のサンプルによって決定されたCI内にある可能性は

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

最初のサンプルの平均ため最初のサンプルの標準偏差とは無関係であるS （1 ）（これは正常を必要とする）と第二のサンプルは、最初の独立している、サンプル平均の差U = ˉ X（2 ） - ˉ X（1 ）とは無関係であるS （1 ）。さらに、この対称的な間隔のZ α / 2 = - Z 1 - α /$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$。したがって、ランダム変数にを書き込む$S$両方の不等式を二乗すると、問題の確率は次のようになります。$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

期待法則は、の平均が0であり、分散が$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

は正規変数の線形結合であるため、正規分布も持ちます。したがって、U 2があるσ $U$$U^2$回χ2（1）変数。我々はすでに知っていたS2があるσ2/N倍χ2（nは-1）変数。その結果、U2/S2は、F（1、n−1）分布の変数の1/n+1/m倍になります。 $\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$必要な確率は、F分布によって与えられます。

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Discussion

An interesting case is when the second sample is the same size as the first, so that $n/m=1$ and only $n$ and $\alpha$ determine the probability. Here are the values of $(1)$ plotted against $\alpha$ for $n=2,5,20,50$.

グラフは各時制限値まで上昇としてのnが増加します。従来のテストサイズα = 0.05は、灰色の縦線でマークされています。n = mの大きい値の場合、α = 0.05の制限チャンスは約85 ％です。$\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

By understanding this limit, we will peer past the details of small sample sizes and better understand the crux of the matter. As $n=m$ grows large, the $F$ distribution approaches a $\chi^2(1)$ distribution. In terms of the standard Normal distribution $\Phi$, the probability $(1)$ then approximates

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

For instance, with $\alpha=0.05$, $Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$ and $\Phi(-1.386) \approx 0.083$. Consequently the limiting value attained by the curves at $\alpha=0.05$ as $n$ increases will be $1 - 2(0.083) = 1 - 0.166=0.834$. You can see it has almost been reached for $n=50$ (where the chance is $0.8383\ldots$.)

For small $\alpha$, the relationship between $\alpha$ and the complementary probability--the risk that the CI does not cover the second mean--is almost perfectly a power law. Another way to express this is that the log complementary probability is almost a linear function of $\log\alpha$. The limiting relationship is approximately

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

In other words, for large $n=m$ and $\alpha$ anywhere near the traditional value of $0.05$, $(1)$ will be close to

$$1 - 0.166 (20\alpha)^{0.557}.$$

(This reminds me very much of the analysis of overlapping confidence intervals I posted at /stats//a/18259/919. Indeed, the magic power there, $1.91$, is very nearly the reciprocal of the magic power here, $0.557$. At this point you should be able to re-interpret that analysis in terms of reproducibility of experiments.)

---

Experimental results

These results are confirmed with a straightforwward simulation. The following R code returns the frequency of coverage, the chance as computed with $(1)$, and a Z-score to assess how much they differ. The Z-scores are typically less than $2$ in size, regardless of $n, m, \mu, \sigma, \alpha$ (or even whether a $Z$ or $t$ CI is computed), indicating the correctness of formula $(1)$.

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Edited to fix the bug WHuber pointed out.]

I altered @Whuber's R code to use the t distribution, and plot coverage as a function of sample size. The results are below. At high sample size, the results match WHuber's of course.

And here is the adapted R code, run twice with alpha set to either 0.01 or 0.05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

And here is the GraphPad Prism file that made the graph.