ANOVAのテストの

イントロ：この質問で、今日受け取っ注意を指摘した、「？ペアワイズt検定のいずれでもないとき缶ANOVAが重要である、」私は答えの独自のセットに値するだろう面白い方法でそれをリフレームすることができるかもしれないと思いました。

統計的有意性が単純な二分法として理解され、より高い基準に基づいて判断される場合、または場合、さまざまな不整合な結果（額面）が発生する可能性があります。上記の質問に対する @Glen_bの回答は、次の場合の有用な例を示しています。P $p$$\alpha$

• ANOVA F検定$F$は、4つのレベルを持つ1つの独立変数（IV）に対して$p_F<.05$を生成しますが、
• IVの4つのレベルの各ペアに対応する観測値間で、同じ従属変数（DV）の差を比較する$p_t>.08$すべての2サンプル$t$検定で p t > .08。

この質問による事後のペアワイズ比較のボンフェローニ補正にもかかわらず、同様のケースが発生しました：Anovaの反復測定は重要ですが、ボンフェローニ補正とのすべての多重比較はそうではありませんか？重回帰のテストがわずかに異なる前述のケースも存在します。

• 有意なF統計量（p <.001）であるが有意ではないリグレッサーt検定を取得できるのはなぜですか？：$p_F<.001,p_{\beta t}>.09$
• 回帰はどのように有意であるが、すべての予測変数は有意ではないのでしょうか？
  • @ whuberさんに答え、$p_F=.0003,p_{\beta t}>.09$

私は賭けてこのような場合には、ことをいくつかの（すべてではない）ペアごとの比較（または回帰係数有意性検定）$p$値はかなり近いでなければならない$\alpha$対応オムニバステストが達成できるかどうか$p <\alpha$。私は、これがGlen_bの最初の例@における場合であり、参照$F_{(3,20)}=3.19$、$p_F=.046$、及び最大ペアワイズ差が最小与える$p_t=.054$。これは一般的に当てはまるのでしょうか？より具体的に：

質問： ANOVA F検定が連続DVに対する1つのポリトマスIVの効果に対してp F = .05を生成する場合、IVのレベルの各ペアを比較するすべての2サンプルt検定の中で最低のp値はどれくらい高いでしょうか？最小のペアワイズ有意性はp t = .50と同じくらい高いでしょうか？$F$$p_F=.05$$p$$t$$p_t=.50$

_{この特定の質問のみを扱った回答を歓迎します。ただし、この質問をさらに動機付けるために、いくつかの潜在的な修辞的な質問を詳しく説明します。これらの懸念に対処することも歓迎します。必要に応じて、特に特定の質問が最終的な回答を得る場合は、特定の質問を無視することもできます。}

意義：統計的有意性が帰無仮説に対する証拠の強さの連続的な観点で判断された場合、p F = .04とp t = .06の違いがどれほど重要でないかを考慮してください（Ron Fisherのアプローチ、私は思う？ ）、null卸売りを拒否するかどうかを選択する際に許容されるエラーの確率について、α = .05のしきい値を上回ったり下回ったりするなど、二項ではありません。「p -hacking」は、pの解釈によって導入された不必要な脆弱性に悪名を部分的に負っている既知の問題です$p_F=.04$$p_t=.06$$\alpha=.05$$p$$p$「十分」と「十分ではない」の同等物に重要性を二分する一般的な慣行による値。この慣習を破棄し、代わりにp値を連続間隔でのnullに対する証拠の強さとして解釈することに焦点を合わせた場合、オムニバステストは、複数のペアワイズ比較を本当に気にするときに、それほど重要ではないでしょうか？統計的精度の合理的に効率的な改善がもちろん望ましいので、必ずしも役に立たないわけではありませんが、...例えば、最低のペアワイズ比較のp値が必然的にANOVA（または他のオムニバステスト）pの.10以内にある場合$p$$p$$.10$$p$特に、複数のテストでαを特に制御したくない場合、これにより、オムニバステストがやや簡単になり、強制的でなくなり、さらに誤解を招くようになりませんか（既存の誤解と併せて）？$\alpha$

逆に、オムニバスp = .05であるが、すべてのペアワイズp > .50のようなデータが存在する可能性がある場合、これはオムニバスをさらに動機付け、練習および教育学全体でのテストのコントラストを高めるべきではないでしょうか？この問題は、二分法対連続法に従って統計的有意性を判断する相対的なメリットを知らせるべきであるように思われます。この差/調整が非常に大きくなる可能性がある場合（たとえば、p t − p F$p=.05$$p>.50$.40 ）理論上。$p_t-p_F>.40)$

_{考慮または無視するその他のオプションの複雑さ- 回答をより簡単で価値のあるものにするもの：}

• ^{どのように高いのpのためのトンのため、場合秒かもしれません$p$$t$ F、 P < 0.05の代わりに（例えば、 P = 0.01 、0.001 、...）$F$$p<.05$$p=.01, .001,\dots$}
• ^{ポリトーマスIVのレベル数に対する感度}
• ^{ペアワイズ差の有意性の不均一性に対する感度（すべてのp t > p F）$p_t>p_F$}
  • ^{whuberの答えは、小さな違いを含めると大きな違いを隠すことができることを示しています。}
• ^{複数の比較のためのさまざまなオムニバステストの修正の違い}
  • ^{関連項目：被験者内の反復比較の修正/反復測定ANOVA; 保守的すぎる？}
  • ^{複数のIVがあると、多重共線性がこの問題を悪化させる可能性があるようです。}
• ^{データが従来のパラメトリックテストのすべての仮定を最適に満たす制限されたケース}
  • ^{この制限は、この質問が多少無意味になるのを防ぐために重要かもしれません。}

一方向レイアウトの各処理に対して等しいn s（ただし、以下の注2を参照）、およびすべてのグループからプールされたSDがtテストで使用されると仮定します（通常の事後比較で行われます）。Pの値のt検定は、2 Φ （- $n$$t$$p$$t$2）≈0.1573（ここで、Φは意味N（0、1））CDFを。したがって、ptが0.5になることはありません。興味深いことに（そして奇妙なことに）.1573の限界はpF=.05だけではなく、$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$ Fます。$F$

正当化は次のとおりです。サンプル平均の所定の範囲、max i 、j | ˉ Y I - ˉ Y J | = 2 a、largest y iの半分が一方の端にあり、もう半分がもう一方の端にあるときに、可能な最大のF統計量が達成されます。これは、2つの平均の差が最大で2 aであるため、Fが最も重要に見えるケースを表します。$\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$

したがって、一般性を失うことなく、that yであると仮定します。= 0ようˉ Y iは = ±この境界場合。そして再び、一般性を失うことなく、その仮定M S E = 1、我々は常にこの値にデータを再スケールすることができて、。今検討k個（ただし手段kがあっても簡単にするためである[なく下に注記1を参照]）、我々は、F = Σ N ˉ Y 2 /（K - 1 $\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$M S E =kna2K - 1。設定PF=αとなるようにF=Fα=Fのα、K-1、K（N-1）、我々は入手=を$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$（K - 1 ）F αk n。場合すべてˉYiがあり±（まだMSE=1）、それぞれの非ゼロのt統計量は、このようにある、T=2$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$1 √2 / n =√2 （K - 1 ）F αk。これは最小最大でTの値が可能な場合F=F$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$$t$$F=F_\alpha$。

したがって、kとnの異なるケースを試して、tとそれに関連するp tを計算するだけです。しかし、所与のために通知することをK、Fはαはあるが減少N [なく下に注3を参照]。また、としてN → ∞、（K - 1 ）Fのα 、K - 1 、K （N - 1 ） → χ 2 α 、K - 1。そうトン$k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$t m i n = √2 χ 2 α 、K - 1 / K。なお、χ2/K= K - $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$K χ2/（K-1）平均有するKを-$\chi^2/k=\frac{k-1}k \chi^2/(k-1)$kおよびSDk−$\frac{k-1}k$K ⋅ √2K - 1。そうLIMK→∞、T、M、I、N$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$ √2、αに関係なく、上記の最初の段落で述べた結果は漸近正規性から得られます。$\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$$\alpha$

ただし、その制限に達するには長い時間がかかります。α = .05を使用してR、kのさまざまな値の結果（を使用して計算）を以下に示します。$k$$\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

いくつかのルーズエンド...

1. kが奇数の場合：最大Fの統計はまだ発生した場合ˉ Y iが全てである±。しかし、我々は平均作り、より範囲の一端で一方が他方よりを持っています± / kは、あなたが要因のことを示すことができるKにおけるFの統計が置き換えられているK - $F$$\bar y_i$$\pm a$$\pm a/k$$k$$F$k。これはまた、tの分母を置き換え、わずかに大きくし、したがってptを減少させます。$k-\frac 1k$$t$$p_t$ます。
2. 不等N S：$n$最大Fが依然として用いて達成されるˉ Y iは = ±符号はほぼ同様に可能な限りサンプルサイズのバランスをとるように配置して、。次に、同じ合計サンプルサイズN = ∑ n iのF統計量は、バランスのとれたデータの場合と同じか、それより小さくなります。さらに、最大t統計量は、最大のn iを持つものになるため、より大きくなります。したがって、より大きなp tを取得することはできません$F$$\bar y_i = \pm a$$F$$N = \sum n_i$$t$$n_i$$p_t$、不均衡なケースを調べても、値を。
3. 若干の修正：私は最小見つけることを試みに焦点を当てたトン私たちは最大限にしようとしているという事実見落としていることのp トンを、そして、大きなことをあまり明らかであるトン少ないDFとのより小さいそれほど重要ではありませんより多くのdfを持つもの。しかし、私はこの値を計算することによってケースであることが確認され、N = 2 、3 、4 、... DFまで少し違いを作るために十分高いです。場合についてα = 0.05 、K ≥ 3私はここで、任意のケースを見ていないのP T N。ことに注意してください$t$$p_t$$t$$n=2,3,4,\ldots$$\alpha=.05, k\ge 3$$p_t$値で増加しませんでした$n$ dはF = K （N - 1 ）可能DFそうである K 、2 K 、3 K 、...ときに大きな高速を得る kが大きいです。それで、私はまだ上記の主張で安全な立場にいます。また、 α = .25をテストし、 0.1573のしきい値を超えた唯一のケースは k = 3 、n = 2でした。$df=k(n-1)$$k,2k,3k,\ldots$$k$$\alpha=.25$$.1573$$k=3,n=2$