複数のテスト修正の範囲

少し奇妙な質問です。今日の私の4年目の生物統計学のクラスでは、複数のテスト補正を使用する場合と使用しない場合について話し合い、教授はオフハンドでコメントしました。彼は統計を始めて以来、これまでに行ったすべてのテストを修正しないのはなぜかと尋ねました。それらはすべて（ほとんど）独立しており、結果を観察するたびに偽陽性を引き出す確率が高まるからです。彼はその後それを笑い飛ばしましたが、なぜ私たちはこれをしないのですか？明らかにばかげているので、私たちがすべきだと言っているわけではありませんが、テストの修正に関しては、どれほど遠すぎるのでしょうか。

単純化のためにalpha = 0.05と仮定し、各テストA、B、Cはいかなる種類の依存関係も持た​​ず、独立していると言います。私が座ってA、B、Cをテストする場合、それらがTテストかどうかに関係なく、0.95を3の累乗で計算しているため、明らかに複数の補正を調整する必要があり、偽陽性の空ロケットを取得する可能性があります。ただし、A、B、Cを異なる手順のコンテキスト内で異なる日に実行し、それらから異なる結果を引き出した場合、これは以前の状況とどう違うのですか？私たちはまだ3つのテストを観察しています。それらはまだ独立しています。

私が達成しようとしているのは、複数のテスト修正をやめると言う論理的な境界です。1つのテストファミリに対してのみ行うべきか、それとも論文全体に対して行うべきか、これまでに実行したすべてのテストに対して行うべきか？複数のテスト修正を使用する方法を理解し、FDR / Bonferonniを使用するいつも仕事中。このコンセプトは、私の頭の中をぐるぐる回っていました。

お時間をいただきありがとうございます。

編集：より最近の質問で、この問題の詳細な議論があります。

あなたの質問への答えは、複数の修正はあなたが解決している問題のコンテキストに依存するということだと思います。最初に事前テストと事後テストを検討すると、複数のテストの修正が機能する場所を確認できます。

単一の仮説を立て、データを収集し、仮説をテストするとします。この場合、明らかに修正する必要はありません。データセットに対して2つ以上のテストを実行することをアプリオリに決定した場合、複数のテストを修正する場合と修正しない場合があります。修正はテストごとに異なる場合があり、ドメインの知識を使用して選択される場合があります。一方、通常の補正方法のいずれかを使用するだけでもかまいません。演繹的テストは一般に数が少ない。テストの仮説が多数ある場合は、サンプルサイズを大きくしたり、サンプルを変更したりするなどの決定をすることができます。つまり、仮説から正しい結論を導き出す可能性が最も高くなるように実験を設計できます。

一方、事後テストは、特定の仮説を考慮せずに一連のデータに対して実行されます。あなたはある程度データを浚渫しており、BonferroniまたはFDR（または自分自身のお気に入り）修正を適用する必要があります。

生涯にわたって（または論文のために）収集されるさまざまなデータセットは一般に独立しており、さまざまな質問をするため、これまでに実行されたすべてのテストの修正について心配する必要はありません。複数の修正は、個々のテストエラーではなく、家族ごとのエラー（つまり、テストファミリーの保護）から保護されることに注意してください。テストをファミリーに論理的にグループ化できる場合、これらのファミリーに適した多重比較境界が見つかると思います。

家族ごとのエラー率を考えることができます（FWER。詳細については、この記事を参照してください）。A、B、およびCをテストするために1つの実験を実行する場合、複数のテストの修正を適用する必要があります。A、B、Cごとに個別の実験を実行する場合、修正は必要ありません。

$1,000^{th}$$\alpha$$\alpha$？だから、私の推測では、Tukeyが実験ごとのエラー率を提案したとき、各実験にはお金、時間、およびリソースがかかるため、公平になりたいと思ったのではないかと思います。