Bonferroniの調整の何が問題になっていますか？

私は次の論文を読みました：Perneger（1998）ボンフェローニ調整の何が問題なのか。

著者は、Bonferroniの調整は、せいぜい生物医学研究での用途が限られているため、特定の仮説に関する証拠を評価する際には使用すべきではないと述べて要約しました。

要約ポイント：

• 研究データで実行されたテストの数の統計的有意性の調整—ボンフェローニ法—は、解決するよりも多くの問題を作成します
• ボンフェローニ法は、一般的な帰無仮説（すべての帰無仮説が同時に真であるという）に関係しています。
• 主な弱点は、発見の解釈が実行される他のテストの数に依存することです
• タイプIIエラーの可能性も増加するため、真に重要な違いは重要ではないとみなされます。
• 実行された有意性のテストとその理由を単に説明することが、一般的に多重比較を処理する最良の方法です。

次のデータセットがあり、複数のテスト修正を行いたいのですが、この場合の最良の方法を決定することはできません。

平均のリストを含むすべてのデータセットに対してこの種の修正を行うことが不可欠かどうか、この場合の修正の最良の方法は何か知りたいですか？

他の人が述べた保守主義に加えて、ボンフェローニ補正の何が問題なのかは、すべての多重度補正の問題です。それらは、基本的な統計原則に従っておらず、arbitrary意的です。頻度主義の世界には多重度の問題に対する独自の解決策はありません。第二に、多重度の調整は、1つのステートメントの信the性が他の仮説が楽しまれているかどうかに依存するという基本的な哲学に基づいています。これは、関心のあるパラメーターの事前分布が他のパラメーターが考慮されるため、より保守的になるベイジアン設定と同等です。これは一貫していないようです。このアプローチは、研究者が偽陽性の実験の歴史に「火傷」されたために生じたものであり、現在、彼らは自分たちの悪行を補うことを望んでいると言えます。

少し拡張するには、次の状況を考慮してください。腫瘍学研究者は、特定のクラスの化学療法の有効性を研究するキャリアを積んできました。彼女のランダム化試験の過去20件すべてで、統計的に有意ではない有効性がもたらされました。現在、彼女は同じクラスの新しい化学療法をテストしています。生存利益は有意です$P=0.04$。同僚は、研究された2番目のエンドポイント（腫瘍収縮）があり、生存結果に多重度調整を適用する必要があり、わずかな生存利益をもたらすことを指摘しています。同僚が2番目のエンドポイントを強調したが、有効な薬物を見つけるために失敗した過去20回の試行を調整することにあまり関心がなかったのはどうしてですか？そして、もしあなたがベイジアンでないなら、20の以前の研究についての事前の知識をどのように考慮しますか？2番目のエンドポイントがなかった場合はどうなりますか。同僚は、以前の知識をすべて無視して、生存の利点が実証されたと信じますか？

彼は、ボンフェローニ調整はせいぜい生物医学研究での用途が限られているため、特定の仮説に関する証拠を評価する際には使用すべきでないと述べた。

ボンフェローニ補正は、最も単純で最も保守的な多重比較手法の1つです。また、最も古いものの1つであり、時間の経過とともに大幅に改善されています。ほぼすべての状況でボンフェローニ調整の適用が制限されていると言っても過言ではありません。ほぼ確実により良いアプローチがあります。つまり、複数の比較を修正する必要がありますが、控えめで強力な方法を選択できます。

控えめな

多重比較方法は、テストファミリで少なくとも1つの誤検出を防止します。レベルで1つのテストを実行すると、誤検知が発生する可能性が5％許容されます。つまり、帰無仮説を誤って拒否します。あなたは、10回のテストを実行した場合α = 0.05レベルまで上昇し、その後、この1 - （1 - 0.05 ）10 偽陽性を取得する=〜40％の確率で$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

ボンフェローニの方法を使用すると、使用（すなわち、スケールの最下端にα bを = α / nはあなたの家族を保護するために）のnでテストをαレベル。言い換えれば、それは最も保守的です。さて、あなたは増やすことができα Bをボンフェローニによって下限セットの上（つまり、あなたのテストが少ない控えめにする）、まだでテストのあなたの家族を守るαレベル。これを行うには多くの方法があります。たとえば、ホルム・ボンフェローニ法またはそれ以上の場合、誤検出率$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

更に力強い

参照された論文で提起された良い点は、タイプIIエラーの可能性も増加するため、真に重要な違いは重要ではないとみなされることです。

これはとても重要です。強力なテストとは、重要な結果が存在する場合にそれを見つけるテストです。Bonferroni補正を使用すると、テストの性能が低下します。ボンフェローニは保守的であるため、電力は大幅に削減される可能性があります。繰り返しますが、代替方法の1つ、たとえば、誤検出率は、テストの能力を高めます。言い換えれば、誤検知から保護するだけでなく、真に重要な結果を見つける能力も向上させます。

そのため、複数の比較がある場合は、何らかの修正手法を適用する必要があります。そして、はい、Bonferroniはおそらく控えめで強力な方法を支持して避けるべきです

トーマス・ペルネジャーは統計学者ではなく、彼の論文は間違いでいっぱいです。だから私はそれをあまり真剣に受け止めないでしょう。それは実際、他の人から非常に批判されています。たとえば、AickinはPernegerの論文は「ほぼ完全にエラーで構成されている」と述べています。Aickin、「複数のテストを調整する他の方法が存在します」、BMJ。1999年1月9日。318（7176）：127。

また、元の質問のp値はいずれも<0.05であり、多重度調整が行われていません。そのため、どの調整（存在する場合）が使用されるかはおそらく問題ではありません。

おそらく、Bonferroniのような複数のテスト修正の「背後にある理由」を説明するのが良いでしょう。それが明らかな場合、あなたはそれらを適用すべきかどうかを自分で判断することができます。

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

私たちは世界についての真の知識を得たと信じているため、科学では偽の証拠は悪いことですが、実際にはサンプルで不運だったかもしれません。したがって、この種のエラーは制御する必要があります。したがって、この種の証拠の確率に上限を設定するか、タイプIエラーを制御する必要があります。これは、許容可能な有意水準を事前に修正することにより行われます。

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

ここでの重要な事実は、2つのテストが1つのサンプルに基づいていることです。

独立を前提としていることに注意してください。独立性を仮定できない場合は、Bonferroniの不等式$を使用して、タイプIエラーが最大0.1まで膨らむことを示すことができます。

ボンフェローニは保守的であり、ホルムの段階的手順はボンフェローニと同じ仮定の下で成り立っているが、ホルムの手順はより強力であることに注意してください。

変数が離散的である場合、最小p値に基づいたテスト統計を使用することをお勧めします。大量のテストを行うときにタイプIエラー制御を放棄する準備ができている場合、False Discovery Rateプロシージャがより強力になる可能性があります。

編集：

例（@Frank Harrellによる回答の例を参照）

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

素敵なボンフェローニ補正の議論と効果の大きさhttp://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html また、ダン-Sidakの方法の修正及びフィッシャーの組み合わせ確率はアプローチは価値が選択肢として検討しています。アプローチに関係なく、読者が自由に解釈できるように、調整済みおよび未加工の両方のp値と効果サイズを報告する価値があります。

一つには、非常に保守的です。Holm-Bonferroni法は、Bonferonni法が達成すること（Family Wise Error Rateを制御すること）を達成し、同時に均一に強力です。

「False Discovery Rate」メソッドは、Bonferroniの控えめな代替手段として見る必要があります。見る

ジョン・D・ストーリー、「正の誤った発見率：ベイズの解釈とq値」、統計学2003年、Vol。31、No。6、2013–2035。