なぜ頻繁な仮説検定は、十分に大きいサンプルで帰無仮説を棄却するように偏るのですか？

このパッセージにつまずいたとき、私はまったく無関係な問題についてベイズ因子に関するこの記事を読んでいた

ベイズ形式はモデル選択のバイアスを回避し、帰無仮説を支持して証拠を評価し、モデルの不確実性を含み、ネストされていないモデルを比較できるため、ベイズ因子を使用した仮説検定は、頻繁な仮説検定よりも堅牢です同じ従属変数を持つ）。また、十分な大きさのサンプルサイズで帰無仮説を棄却するために、頻繁な有意性検定は偏りが生じます。[強調を追加]

私はで前にこの主張を見てきた脳画像でカールFristonの2012紙、彼はそれを呼び出す、古典推論の誤謬。

なぜこれが真実なのかという真に教育的な説明を見つけるのに少し苦労しました。具体的には、私は疑問に思っています：

1. これが起こる理由
2. それを防ぐ方法
3. それに失敗した、それを検出する方法

質問1への回答：これは、真の差が正確にゼロである場合に、頻繁な差の検定（つまり、差のない帰無仮説/等式の検定）でサンプルサイズが増加すると値が任意に小さくなるために発生します。 zero意的にゼロに近いのではなく、現実的ではありません（OPに対するNick Staunerのコメントを参照）。 frequentist検定統計量の誤差は、一般ことを結論して、サンプルサイズが減少するので-valueは任意に小さくなり、すべての差が十分に大きなサンプルサイズの任意のレベルに有意です。コスマシャリジはこのことについて熱心に書いています。$p$$p$

質問2への回答：頻繁な仮説テストフレームワーク内で、差異の検出のみを推論しないことで、これを防ぐことができます。たとえば、違いと等価性に関する推論を組み合わせて、効果の証拠に対する証拠の証拠と効果の欠如の証拠の証拠の負担を好まない（または混同する）ことはできません。効果の欠如の証拠は、例えば、

1. 等価性に関する2つの片側検定（TOST）、
2. 等価性のための均一最も強力なテスト、および
3. 同等性への信頼区間アプローチ（すなわち、検定統計量の％CIが事前に定義された同等性/関連性の範囲内にある場合、有意性のレベルで同等性を結論付けます）。$1-2\alpha$$\alpha$

これらのアプローチがすべて共有しているのは、どの効果サイズが関連する差異を構成するかについての先験的な 決定と、少なくとも関連があると考えられるものと同じくらい大きな差異の観点から見た帰無仮説です。

このように、差の検定と等価性の検定からの結合推論は、このようにサンプルサイズが大きい場合に説明するバイアスから保護します（差の結合検定から生じる4つの可能性を示す2行2列の表-実証主義帰無仮説、H —および同等性—ネガティビストの帰無仮説、H）：− $_{0}^{+}$$_{0}^{-}$

お知らせ左上の象限：取り押さえテストは1であるイエスは、あなたは違いがないの帰無仮説を棄却しますが、関連する差の帰無仮説を棄却するので、そう違いはありますが、あなたはしている演繹的にあなたが気にしないことを決めました小さすぎるからです。

質問3への回答： 2への回答を参照してください。

帰無仮説が真である場合、大規模なサンプルを使用した頻繁なテストでは、帰無仮説を拒否する傾向はありません。検定の仮定が有効で帰無仮説が真である場合、小さなサンプルよりも大きなサンプルが帰無仮説の棄却につながるリスクはありません。nullがtrueでない場合、喜んで拒否します。したがって、大きなサンプルが小さなサンプルよりも頻繁にfalse nullを拒否するという事実は、「バイアス」ではなく適切な動作です。

「圧倒的な実験」の恐怖は、帰無仮説がほぼ真である場合に棄却するのは良いことではないと仮定することに基づいています。しかし、それがほぼ真である場合、実際には偽です！拒否しますが、観察された効果の大きさに気づかないようにします（そして明確に報告します）。それは些細なことであり、したがって深刻な検討に値しないかもしれませんが、その問題に関する決定は、仮説検定の外部からの情報を検討した後になされなければなりません。