比較の数が増えるにつれて、ベンジャミニ-ホッホベルグの補正はより保守的になりますか？

Benjamini-Hochbergの多重テスト修正は、比較の総数に対してどれほど保守的ですか？たとえば、2つのグループの18,000個の機能のリストがあり、p値を取得するためにWilcoxonテストを実行した場合。Benjamini-Hochbergを使用してそのp値を調整しますが、ほとんど何も重要ではありません。

ボンフェローニ補正は、比較の回数が増えるにつれてかなり保守的になる可能性があることを知っています。Benjamini-Hochbergにも同じ特性がありますか？

まず、これら2つの複数のテスト手順が同じものを制御しないことを理解する必要があります。あなたの例を使用すると、18,000個の観測変数を持つ2つのグループがあり、1つのグループごとに異なるいくつかの変数を識別するために18,000個のテストを行います。

• ボンフェローニ補正は、1万8,000個の変数すべてが2つのグループで同じ分布を持ち、「ここに重要な違いがある」と誤って主張していると仮定して、Familywiseエラー率を制御します。通常、この確率が5％未満であれば、あなたの主張は信頼できると判断します。

• Benjamini-Hochberg補正は、誤検出率、つまり、差異の存在を主張する変数間で予想される誤検知の割合を制御します。たとえば、FDRが5％に制御されている場合、20のテストが陽性である場合、これらのテストのうち1つだけが偽陽性になります。

さて、比較の回数が増えると...まあ、それは真である限界帰無仮説の数に依存します。しかし、基本的には、両方の手順で、少数または5つまたは10個の本当に関連する変数がある場合、1,000,000個の変数よりも100個の変数の中でそれらを検出する可能性が高くなります。それは十分に直感的でなければなりません。これを回避する方法はありません。