信頼区間とt検定の検定統計仮説の関係

信頼区間と検定統計仮説が強く関連していることはよく知られています。私の質問は、数値変数に基づいた2つのグループの平均の比較に焦点を当てています。このような仮説はt検定を使用してテストされると仮定しましょう。一方、両方のグループの平均の信頼区間を計算できます。信頼区間の重複と平均が等しいという帰無仮説の棄却との間に関係はありますか？（異なることを意味する代替案を支持して-両側検定）たとえば、信頼区間が重ならない場合、検定は帰無仮説を棄却できます。

はい、信頼できる範囲の比較と、幅広い実用的な設定の仮説検定の間には、いくつかの簡単な関係があります。 ただし、CIの手順とt検定がデータに適していることを確認することに加えて、サンプルサイズに大きな違いがなく、2つのセットの標準偏差が類似していることを確認する必要があります。また、2つの信頼区間の比較から非常に正確なp値を導き出そうとするべきではありませんが、効果的な近似を作成して喜んでいるはずです。

（@Johnと@Brettによって）既に指定された2つの応答を調整しようとする場合、数学的に明示的にすることが役立ちます。この質問の設定に適した対称両側信頼区間の式は次のとおりです。

$$\text{CI} = m \pm \frac{t_\alpha(n) s}{\sqrt{n}}$$

ここで$m$サンプル平均で$n$、独立した観察$s$サンプル標準偏差であり、$2\alpha$所望の試験サイズ（最大偽陽性率）とされている$t_\alpha(n)$上部である$1-\alpha$パーセンタイルスチューデントt分布の$n-1$自由度。（この従来の表記法からのわずかな逸脱により、$n$ vs $n-1$区別に煩わされる必要がなくなるため、説明が簡単になります。とにかく重要ではありません。）

添字用いて$1$及び$2$と、比較のためにデータの2つの独立したセットを区別するために$1$二つの手段の大きい方に対応し、非信頼区間の-overlapは不等式（下側信頼限界1）で表される$\gt$（上側信頼限界2 ）; つまり 、

$$m_1 - \frac{t_\alpha(n_1) s_1}{\sqrt{n_1}} \gt m_2 + \frac{t_\alpha(n_2) s_2}{\sqrt{n_2}}.$$

これは、対応する仮説検定のt統計のように（2つの平均を比較するために）単純な代数操作で作成することができます。

$$\frac{m_1-m_2}{\sqrt{s_1^2/n_1 + s_2^2/n_2}} \gt \frac{s_1\sqrt{n_2}t_\alpha(n_1) + s_2\sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 s_2^2 + n_2 s_1^2}}.$$

左側は、仮説検定で使用される統計です。これは通常のあるスチューデントt分布のパーセンタイルと比較される$n_1+n_2$であり、全自由度$t_\alpha(n_1+n_2)$。右側は、元のt分布パーセンタイルのバイアスされた加重平均です。

これまでの分析は、@ Brettによる回答を正当化します。利用可能な単純な関係はないようです。 ただし、さらに詳しく調べてみましょう。直感的には、信頼区間が重ならないことは何かを言うべきだからです！

$s_1$$s_2$$s_i$

$$\frac{m_1-m_2}{s\sqrt{1/n_1 + 1/n_2}} \gt \frac{\sqrt{n_2}t_\alpha(n_1) + \sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 + n_2}}.$$

$s \approx s_1 \approx s_2$$\alpha$$\alpha'$$\alpha'$

$$t_{\alpha'}(n_1+n_2) = \frac{\sqrt{n_2}t_\alpha(n_1) + \sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 + n_2}}\text{?}$$

$\alpha$$\alpha'$$n_1=n_2=2$$n_1=n_2=5$$n_1=n_2=\infty$$n=n_1=n_2$

$\{n_1, n_2\}$$n_1 \ge 10, n_2 \ge 10$$\alpha'$$\alpha$

$\alpha'$$\alpha$

$$\alpha' \approx e \alpha^{1.91};$$

あれは、

$$\alpha' \approx \exp(1 + 1.91\log(\alpha)).$$

この式は、次の一般的な状況で適切に機能します。

• $n_1 \approx n_2$$\alpha$$\alpha \gt .001$

• $10$$\alpha$

• $\alpha \gt .02$

$n_1=n_2=2$$n_1=n_2=5$$n_1=n_2=\infty$$\alpha$

これは、一連の信頼区間を目で確認するのに十分すぎるほどです。

$2\alpha$$2e \alpha^{1.91}$

$2\alpha$

$2\alpha$ $2\alpha'$

0.05 0.005

0.01 0.0002

0.005 0.00006

$2\alpha=.05$$p \lt .005$$n$$.0037$$n=2$$.0056$$n=\infty$

この結果は、@ Johnによる返信を正当化するものです（さらに改善されることを願っています）。したがって、以前の返信は矛盾しているように見えますが、両方とも（独自の方法で）正しいです。

いいえ、少なくとも単純なものではありません。

ただし、2つの平均の差のt検定と2つの平均の差の信頼区間との間には正確な対応関係があります。

2つの平均の差の信頼区間にゼロが含まれている場合、その差のt検定では、同じ信頼レベルでnullを棄却できません。同様に、信頼区間に0が含まれていない場合、t検定はヌルを拒否します。

これは、2つの平均それぞれの信頼区間間のオーバーラップとは異なります。

分散が等しいという典型的な仮定の下で、はい、関係があります。バーが1つのバー* sqrt（2）の長さよりも短い範囲で重なっている場合、t検定ではアルファ= 0.05で大きく異なることがわかります。バーの端がかろうじて触れている場合、差は0.01で見つかります。グループの信頼区間が等しくない場合、通常は平均を取り、同じルールを適用します。

あるいは、平均の1つの周囲の信頼区間の幅がwの場合、2つの値の最小有意差はw * sqrt（2）です。これは、独立グループt検定の分母sqrt（2 * MSE / n）、およびCIの因子sqrt（MSE / n）を考えると簡単です。

（95％CIを想定）

ここで、独立した手段の周りの信頼区間から推論を行うことに関する簡単な論文があります。この質問と、他の多くの関連する質問に答えます。

カミング、G。、＆フィンチ、S。（2005年3月）。目による推論：信頼区間、およびデータの写真の読み方。アメリカの心理学者、60（2）、170-180。