多重比較問題の原因は何ですか？

MCPの背後にある直感は理解していますが、原因を正確に特定するのに苦労しています。回避すべきこと、または少なくとも説明する必要があることは何ですか。

最も率直な定義で、私はデータを取り、可能なすべての帰無仮説を試してそれに力ずくのアプローチを適用すると、最終的に任意のアルファ（たとえば、5％）で拒否できるものを見つけ、宣言することに同意します発見。

しかし、MCPの多くの定義では、「テストすればするほど、見つかる可能性が高い」などと読みましたが、私は同意しますが、必ずしもそれを問題（または少なくとも問題の根本）とは限りません。たとえば、多くの研究者が同じ現象を同じ利用可能なデータで分析していて、それぞれが独自の仮説を検証している場合、（たった1人の研究者である場合よりも）発見に到達する可能性が高くなります。ターゲットアルファへのある種の補正（たとえば、Bonferroni補正）？私は答えがノーであると仮定していますが、単一の研究者が多くの仮説をテストする必要がある理由が明確になりません（ここでも、テストシステムが悪用される可能性があり、そのための修正があるはずです）。

発見を見つける機会の増加（帰無仮説を拒否）が問題になるのはいつですか？原因について考えるとき、頭に浮かぶいくつかの要因がありますが、これらのうちのどれ（またはここにリストされていないもの）がこの問題の原因に関連しているかはわかりません。

1. 事後分析：仮説は（できれば）アプリオリに定式化する必要があることを理解しています。そうでない場合は、希望のアルファの下でどの仮説を当てはめることができるかを推測するためのデータを調べています。

2. データの再利用：テストする仮説ごとに異なるデータセットを使用すれば、問題はなくなりましたか？発見を発見する可能性は、私がテストする仮説をさらに増やします（たとえ異なるデータセットであっても）。

3. 独立した研究者：前の例を再利用して、MCPは同じ研究チーム/努力に関連していますか？それとも、同じ問題（または同じまたは類似のデータ）に取り組む複数の独立した研究者に適用されますか？

4. 独立した仮説：前の問題に関連して、仮説が独立しているときに問題が発生しますか（またはより強く現れますか）？（私はより多くの検索スペースをカバーしているため）または主な問題は、小さな変動（たとえば、パラメーターの微調整）で同様の仮説を試すことですか？

上記のポイントを私の解釈で要約すると、（1）と（2）は、発見を見つけやすくするために、検索スペースを削減する（最適化理論から用語を借用する）形です。（３）および（４）それらが適用されるたびに（すなわち、仮説がテストされるたびに）この探索空間のより多くをカバーするより直交する探索法を使用する。しかし、これらは私が思いつく可能性のある考えられる原因のほんの一部であり、答えを始めるのを助けるために、私が確信していない多くがまだあります。

この質問は、多重比較が問題である理由を尋ねる以前の質問からのフォローアップであり、FWERとFDRの違いに似た問題を引き起こします（質問を正しく理解している場合）。この質問では、（FDRを使用する傾向がありますが）問題としては考慮していませんが、両方の率は、複数の仮説を分析するときに問題があることを意味します（ただし、次の場合の違いはわかりません）私はさまざまな無関係な問題を分析し、それぞれ5％の有意性を持つ発見を見つけました。つまり、帰無仮説を拒否する100の問題を「解決」した場合、そのうちの5つ-期待値-はおそらく間違っているでしょう）。その質問への最良の答え 明確な答えはなく、おそらくこの質問に対する答えもない可能性があることを示唆しましたが、MCPエラーの原因がどこにあるのかを可能な限り解明することは（少なくとも私にとっては）非常に役立ちますから来る。

（同じ質問に対する別の回答は、古典的な視点に対するベイジアンマルチレベルモデルの視点の利点を説明する論文を提案しました。これは調査する価値のある別の興味深いアプローチですが、この質問の範囲は古典的なフレームワークです。）

この問題について、いくつかの質問に、多くの価値があるの読み取りが既に存在する（例えば、1、2、3、4）の問題は、上記の提起が、（それも可能であれば）、私はまだより統一答えを感じる（異なる視点からの）アドレス不足しているため、この質問は（すでに問題のある）SNRを低下させないことを願っています。

あなたの直感はおおよそ正しいですが、多重比較が仮説検定自体の仮定をいかに弱体化させるかを検討することは役立つかもしれません。古典的な仮説検定を実施すると、帰無仮説に対する証拠の尺度であるp値が生成されます。p値は、低い値が帰無論に対するより大きな証拠を構成するように構築され、帰無仮説の下で均一に分布します。これにより、帰無仮説を（有意水準に比べて）p値が低い場合は妥当ではないと見なすことができます。

$N > 1$$p_1, ..., p_N \sim \text{U}(0, 1)$$0 < \alpha < 1$$p_{(1)} < ... < p_{(k)} < \alpha < p_{(k+1)} ... < p_{(N)}$$0 \leqslant k \leqslant N$$k$

ここの問題は何ですか？さて、問題は、各テストのp値がそれぞれの帰無仮説の下で均一であるにもかかわらず、順序付けられた p値が均一ではないことです。有意水準を下回る最も低い p値を選択することにより、それぞれの帰無仮説の下で均一である確率変数を見ることはもうありません。実際、が大きい場合、最も低いp値はゼロ近くに非常に集中する分布になる可能性が高いため、（仮定により）すべての帰無仮説がテストは本当です。$k$$N$

この現象は、p値が独立しているかどうかに関係なく発生するため、これらの仮説をテストするために同じデータまたは異なるデータを使用しているかどうかに関係なく発生します。多重比較の問題は、検定のより低いp値が均一ではない限界null分布を持つことです。Bonferroni補正などの調整では、p値または有意水準を調整してこの現象を説明する比較を作成することにより、これに対処しようとします。$N$

研究者は発見がいつなされたかがわかると想定しているようです。そうではありません。「発見を見つけた」としても、それを行ったことを確信することはできません（ある種の全知的な存在でない限り）。というのも、それをいじくるのと同じように、科学における発見と誤報を区別するのは通常分析におけるある程度の人間の「信頼」。