オムニバステストと多重比較の関係は？

8

多重比較に進む前に、オムニバステストに依存するメソッド。通常、これらの方法では、複数の比較に進む前に重要なANOVA / Tukeyの範囲検定が必要です。これらのメソッドには、タイプIエラーの「弱い」制御があります。

ANOVAのF検定は、モデルの全体的な有意性を検定するオムニバス検定の例です。有意なF検定とは、検定された平均のうち、少なくとも2つの平均が有意に異なることを意味しますが、この結果は、どの平均が互いに異なるかを正確に特定していません。実際、検定手段の違いは、2次有理F統計（F = MSB / MSW）によって行われました。どの平均が別の平均と異なるか、または平均のコントラストが有意に異なるかを判断するには、有意なオムニバスF検定を取得した後に、事後検定（多重比較検定）または計画検定を実行する必要があります。単純なBonferroni補正またはその他の適切な補正を使用することを検討してください。

したがって、全体的な有意性をテストするためにオムニバステストが使用されますが、多重比較は、どの違いが有意かを見つけることです。

しかし、私が正しく理解していれば、多重比較の主な目的は全体的な有意性をテストすることであり、どの差異が有意かを見つけることもできます。つまり、オムニバスと同じように多重比較を行うことができます。では、なぜオムニバステストが必要なのでしょうか。

hypothesis-testing multiple-comparisons

— ティム
ソース

7

多重比較手順の目的は、全体的な有意性をテストすることではなく、実験ごとのエラー率を制御しながら、個々の効果の有意性をテストすることです。たとえば、オムニバスF検定が特定のレベルで有意である可能性はありますが、ペアワイズテューキー検定はどれも重要ではありません。こことここで説明します。

非常に単純な例を考えてみます。単位分散を持つ2つの独立した正規変量が両方とも平均ゼロを持つかどうかをテストします。

H_{0} ： μ_{1} = 0 \land μ_{2} = 0

$H_0: \mu_1=0 \land \mu_2=0$

H_{1} ： μ_{1} \neq 0 \lor μ_{2} \neq 0

$H_1: \mu_1 \neq 0 \lor \mu_2\neq 0$

テスト＃1：拒否

{バツ}_{1}^{2} + {バツ}_{2}^{2} \geq F_{χ_{2}^{2}}^{- 1} （ 1 - α ）

$X_1^2+X_2^2 \geq F^{-1}_{\chi^2_2}(1-\alpha)$

テスト＃2：拒否する

| {バツ}_{1} | \lor | {バツ}_{2} | \geq F_{N}^{- 1} （ 1 - \frac{1 - \sqrt{1 - α}}{2} ）

$|X_1| \lor |X_2|\geq F^{-1}_{\mathcal{N}} \left(1-\frac{1-\sqrt{1-\alpha}}{2}\right)$

$\alpha$

拒絶領域のプロット

テスト＃1は典型的なオムニバステストです。両方の効果が大きく、どちらもそれほど大きくない場合、テスト＃2よりも強力です。テスト＃2は典型的な多重比較テストです。どちらかの効果が大きく、他の効果が小さい場合、テスト＃1よりも強力で、グローバルnullの個々のコンポーネントの独立したテストも可能です。

$\alpha$

（1）テスト＃1を実行し、（a）グローバルnullを拒否しない、または（b）グローバルnullを拒否し、次に（この場合のみ＆）テスト＃2を実行して、（i）どちらのコンポーネントも拒否しない、（ii）最初のコンポーネントを拒否する、（ii）2番目のコンポーネントを拒否する、または（iv）両方のコンポーネントを拒否する。

（2）テスト2のみを実行し、（a）どちらのコンポーネントも拒否しない（したがって、グローバルnullの拒否に失敗する）、（b）最初のコンポーネントを拒否する（したがって、グローバルnullも拒否する）、（c）2番目のコンポーネントを拒否する（したがって、グローバルnullも拒否されます）、または（d）両方のコンポーネントが拒否されます（したがって、グローバルnullも拒否されます）。

$\alpha$

— Scortchi-モニカの回復
ソース

ありがとう！（1）拒否されている個別のnullが少なくとも1つある場合にのみ、グローバルnullが拒否されませんか？したがって、複数の比較手順でグローバルnullをテストできます。（2）「しかし、実験的なエラー率を制御しながら、個々の効果の有意性をテストするためだけに」、グローバルnullが拒否されたときに、複数の比較手順が拒否された個々のnullを識別できるということですか？

— Tim、

2

（1）取り消し線を引いた場合、それは正しい。ポイロットは、Orient Expressのボードに殺人犯がいることを確認できます。（しかし、私は私の答えから「唯一」を削除する必要があります）（2）はい。

— Scortchi-モニカの回復

ありがとう！（1）で、「 'and only if'を取り消した場合」は、複数の比較手順を使用してグローバルnullをテストできるが、オムニバステストよりも偽陰性のエラーが発生することを意味しますか？

— Tim

偽陰性のエラー率は、ヌルがどのように間違っているかによって異なります。追加した例を参照してください。

— Scortchi-モニカの回復

1

$2^m$ $\cap H_i^0$

オムニバステストは通常、グローバルな帰無仮説をテストするための名前です。複数のテスト手順の最低限の要件は、グローバルnullでのエラー制御です。これは「弱いFWER」制御として知られています。しかし、特定の仮説を推論する目的で、そこで停止することはおそらくないでしょう。真のヌルの任意の組み合わせの下でFWER制御を提供するプロシージャが必要になります。これは「強力なFWER」コントロールと呼ばれます。

— ジョンロス
ソース

その

数字についてもう少し言えますか？

グループが与えられた場合、1つは

可能な最大のペアワイズ多重比較であり、オムニバステストではその数+ 1です...すべての可能なもの（たとえば、ペア<トリプル<

サイズのテスト）を含めていますか？

2^{m}

$2^m$

k

$k$

k (k - 1) / 2

$k(k-1)/2$

k

$k$

— Alexis

JohnRosが意味したことは、真/偽の帰無仮説の2 ^ m通りの可能な組み合わせがあるということです。たとえば、3つの帰無仮説があり、それぞれが真（T）または偽（F）の場合、2 ^ 3 = 8のシナリオが考えられます。TTT、TTF、TFT、TFF、FTT、FTF、FFT、FFF 。それがどのように関連しているかはわかりません。多重比較では、TとFの一意の組み合わせの数ではなく、テストの数（3）に関心があるためです。

— Bonferroni 2017

1

ペアワイズテストに関連する計算に加えて、すべてのペアワイズテストを実行する代わりに分散分析を使用する理由が他にもあります。

場合によっては、ANOVAがすべての母集団の平均が何らかの信頼水準で同じであるという帰無仮説を棄却する一方で、すべてのペアワイズ検定（LSDなど）を実行した場合、少なくとも1つのペアの平均さえ見つけられない可能性がありますその信頼水準での差を超えています。

FISHERのLSDペアワイズテストを考慮した、上記のステートメントの数学的証明

$S_p$

$N$ $N(N-1)/2$

$N(N-1)/2$

$(N-1)$

LHSでは、ANOVAと同じ量が使用されます。ただし、RHSでは、 $N/2$

したがって、すべてのペアワイズLSDテストを組み合わせても帰無仮説を棄却できない場合でも、ANOVAが帰無仮説を棄却できる可能性は十分あります。

したがって、ANOVAには、一緒に考慮されるすべてのペアワイズテストよりも多くの情報が含まれています。

PS：方程式をタイプアウトする代わりに画像を使用することについての謝罪。

— Honeybadger
ソース