事後テストの前にグローバルテストが必要ですか?


54

ANOVAが重要な場合にのみ、ANOVA後の事後テストを使用できるとよく耳にします。

  • しかし、事後テストでは値を調整して、グローバルタイプIエラー率を5%に保ちます。p
  • それでは、なぜ最初にグローバルテストが必要なのでしょうか?
  • グローバルなテストが必要ない場合、「事後」という用語は正しいですか?

  • または、複数の種類の事後テストがあります。一部は重要なグローバルテスト結果を想定しており、その他はその前提なしです。

回答:


58

多重比較テストはしばしば「事後テスト」と呼ばれるため、論理的に一元配置分散分析に従うと思うでしょう。実際、これはそうではありません。

残念な一般的な慣行は、均質性の船体仮説が拒否された場合にのみ多重比較を追求することです。」(Hsu、177ページ

ANOVAの全体的なP値が0.05より大きい場合、事後テストの結果は有効ですか?

驚くべきことに、答えはイエスです。1つの例外を除き、全体のANOVAが平均の間に有意差を見つけられなかった場合でも、事後テストは有効です。

例外は、発明された最初の多重比較検定である保護されたフィッシャー最小有意差(LSD)検定です。保護されたLSDテストの最初のステップは、ANOVA全体が同一平均の帰無仮説を棄却するかどうかをチェックすることです。そうでない場合は、個々の比較を行うべきではありません。しかし、この保護されたLSDテストは時代遅れであり、推奨されなくなりました。

全体のANOVAが有意ではない場合でも、多重比較テストから「有意な」結果を取得することは可能ですか?

はい、可能です。例外は、Scheffeのテストです。それは全体的なFテストと絡み合っています。ANOVA全体のP値が0.05を超える場合、Scheffeの検定では重要な事後検定は見つかりません。この場合、全体的に有意ではないANOVAに続いて事後テストを実行することは時間の無駄ですが、無効な結論につながることはありません。しかし、他の多重比較テストでは、全体的なANOVAがグループ間で有意な差を示さなかった場合でも、有意な差を見つけることがあります。

事実上、すべてのグループ平均が同一であるというANOVAと、テスト後の違いを見つけるANOVAの間の明らかな矛盾を理解するにはどうすればよいですか?

全体的な一元配置分散分析では、すべての治療グループの平均値が同じであるという帰無仮説がテストされるため、偶然に発生した差異はランダムサンプリングによるものです。各事後テストは、2つの特定のグループが同一の平均を持っているという帰無仮説をテストします。

事後テストはより焦点が絞られているため、ANOVA全体から平均間の差が統計的に有意でないと報告された場合でも、グループ間の差を見つけることができます。

全体的なANOVAの結果はまったく役に立ちますか?

ANOVAは、すべてのデータが同一の平均を持つグループに由来するという全体的な帰無仮説をテストします。それがあなたの実験的な質問である場合-データが平均がすべて同一ではないという説得力のある証拠を提供している場合-ANOVAはまさにあなたが望むものです。多くの場合、実験的な質問は、複数の比較テスト(事後テスト)により焦点が絞られ、回答されます。このような場合、ANOVAの結果全体を安全に無視して、テスト後の結果に直接ジャンプできます。

多重比較計算はすべて、ANOVAテーブルの平均二乗結果を使用することに注意してください。したがって、Fの値やPの値を気にしなくても、ポストテストではANOVAテーブルを計算する必要があります。


1
これは素晴らしい答えです。ハーベイ-書いてくれてありがとう!
pmgjones

3
(+1)最後の2つの段落は、回答全体を理解し、評価するための適切なコンテキストを提供します。
whuber

4
優れた答えです。Maxwelland Delaney(2004)からいくつかの引用を追加します: "...これらの方法[例、Bonferroni、Tukey、Dunnetなど]は、theeでalphaEWを制御するため、オムニバステストの代替と見なされるべきです。これらの分析のいずれかを実行する前に、重要なオムニバステストを必要とすることは、しばしば行われますが、alphaEWを目的のレベルより低くするだけであり(Bernhardson、1975)、したがって不適切に電力を低下させます」(p。236) 。
dfife 14

「グループ間の違いを見つける力があります...」
SmallChess

(オムニバステストは拒否したが何のペアごとの比較は行わないことを)逆の状況は、いくつかの状況でも可能であること-それは明らかではないかもしれませんので、 -ではない問題の一方で、私は私が言及すべきだと思う
Glen_b

25

(1)事後テストは、(a)分析者がテスト数を調整しているかどうか、および(b)事後テストがどの程度独立しているかによって、名目上のグローバルタイプIエラー率を達成する場合と達成しない場合があります。別の。最初にグローバルテストを適用することは、事後データスヌーピングから誤った「重要な」結果を発見するリスク(不注意でも)に対する非常に強固な保護です。

(2)電力の問題があります。グローバルANOVA F検定は、平均のペアの個々のt検定が有意な結果をもたらさない場合でも、平均の差を検出できることはよく知られています。言い換えれば、場合によっては、データは真の平均が異なる可能性があることを明らかにすることができますが、平均のペアが異なることを十分な信頼識別することはできません。


再(2):一元配置分散分析がペアワイズt検定のいずれも行わない場合に有意差を報告できると言う場合、単純な非調整(「非ポスト」、例えばTukeyの手順などではない)を参照しますt検定?これは決して不可能だと思っていましたが、間違っていましたか?
アメーバは、モニカを復活させる14

@amoebaそうです。未調整のペアワイズテストについて言及しています。この点を明確にしていただきありがとうございます。
whuber

ありがとう、@ whuber。CrossValidatedでこの点に関する議論を見つけようとしましたが、役に立ちませんでした。そこで、このような状況がどのように起こり得るかについて、stats.stackexchange.com / questions / 83030 / …に自分の質問を投稿しました。あなたがそこで詳しく説明できれば、本当に感謝しています!
アメーバは、モニカを復活

3
@amobaと@whuber:おそらくこれを知っていますが、とにかく明確にしたいと思います。TukeyのHSDテストがどれも重要ではない場合でも、ANOVAテストが重要になる可能性があることに注意してください。3つのグループのバランスのとれたデータセットを使用した単純なRの例:set.seed(249); group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)
Karl Ove Hufthammer 14

1
ANOVAの帰無仮説は平均の少なくとも1つのペアが互いに異なるということなので、少なくとも2つの平均の間に差があると推測できませんか?
スペルドーサ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.