FDRを使用した適度な数のテスト（10〜20）での複数のテストの修正？

False Discovery Rate（Benjamini-Hochberg）は、通常、数百のテストを使用した遺伝子研究などの「ビッグデータ」で使用されます。しかし、それは少数のテストでも使用できますか？たとえば、2つのグループ（男性と女性）の結果を、たとえば10〜20の異なるアンケートで調べます。これらの場合、FDR手順は価値/意味/能力を失いますか？

このフォーラムでも、人々がこれを常に混乱させているのを見ています。これは、ベンジャミニホッホバーグの手順が偽の発見率の同義語として（そして査読者からの論文の要求に応じてp値を「調整」するためのブラックボックスとして）使用されるため、かなりの程度引き起こされていると思います。FDRの概念とベンジャミニホッヒベルグの方法を明確に区別する必要があります。最初のものは一般化されたタイプIエラーであり、2番目のものはそのエラーを制御する複数のテスト手順です。これは、たとえばFWERやBonferroniの手順と非常に似ています。

実際、FDR制御メソッドを使用したい場合に仮説の数が問題になる直接の理由はありません。それはあなたの目標次第です。特に、仮説をテストしていて、プロシージャがR個をV個の偽の拒否で拒否したとします。$m$$R$$V$

FDR $= \Pr[V \geq 1]$$\text{FDR}$$R$

したがって、あなたの質問に対する答えは、あなたが何を達成したいかに完全に依存し、小さなが問題になる本質的な理由はありません。もう少し詳しく説明します。Benjamini-Hochbergの影響力のある1995年の論文のデータ分析の例には、仮説が含まれていますが、もちろんその場合にも有効です。$m$$m=15$

もちろん、私の答えには注意点があります。BH手順は、「大規模」（マイクロアレイなど）のデータセットが利用可能になった後にのみ普及しました。そして、あなたが言うように、それはそのような「ビッグデータ」アプリケーションに通常使用されます。しかし、これは、そのような場合に基準としてのがより意味をなすからです。たとえば、それがスケーラブルで適応性があり、探索的研究を容易にするためです。一方、FWERは、臨床研究などで要求されるように非常に厳格であり、あまりに多くのオプションを同時に探索することに対して過度に罰せられます（つまり、探索的作業にはあまり適していません）。$\text{FDR}$

ここで、FDRがアプリケーションの適切な基準であると判断したと仮定します。Benjamini Hochbergは、仮説の数が少ない場合にFDRを制御するための正しい選択ですか？低についても統計的に有効であるため、私は「はい」と言います。ただし、が低い場合は、たとえば、FDRも制御する別の手順、つまりベンジャミニとリューの手順を使用することもできます。実際、著者はとき（ベンジャミニホッホベルク上で）その使用を提案しています$m$$m$$m \leq 14$そして、ほとんどの仮説は偽であると予想されます。したがって、FDR制御には代替の選択肢があることがわかります。実際には、BHが十分に確立されているという理由だけで、Benjamini-Liuを使用することの利点がほとんど存在しないとしてもほとんどない場合でも、私はまだBHを使用します。

最後の関連するノートでは、実際に低使用すべきでないいくつかのFDR制御手順があります。これらには、たとえば、Rパッケージ「fdrtool」および「locfdr」で実装された、すべてのローカルfdrベースのプロシージャが含まれます。$m$