なぜ人々は重要性レベルを権力と交換しないのですか？

慣例として、有意水準がで検出力がある多くの研究があります。ただし、べき乗で研究を見つけることは非常にまれです。$0.05$$0.8$$\alpha = 0.2$$0.95$

私の理解では、実験が行われた後、結果が有意でない場合、有意水準はまったく問題になりません。なぜなら、この場合、私たちはnullを受け入れることが理にかなっているかどうかを検討しており、すべての重要なことです力です。同様に、結果が有意である場合、有意水準は証拠となり、検定の検出力はまったく差がありません。（「重要ではない」とは、「この実験の目的ではない」という意味です。メタスタディでは、重要度とパワーの両方が重要であるため、両方をレポートで報告してください！）

私が正しい場合、帰無仮説と代替案はある程度対称的です。帰無仮説は本質的にそれ以上の保護を必要としません。代替案を証明したい場合は、「この新薬は患者に影響を与える」と言ってから、非常に小さなと適度に高いパワーを使用します。一方、たとえば正規性テストでnullを証明する場合は、適度に小さいと非常に高いパワーを選択して、nullを秘密裏に受け入れることができるようにする必要があります。$\alpha$$\alpha$

適度に小さいと非常に高いパワーでの実験がそれほど珍しいのはなぜですか？$\alpha$

なぜ適度に小さい実験が $\alpha$ そして非常に高いパワーはとても珍しいですか？

これはすべて相対的なものですが、有意水準は $\alpha = 0.05$ はすでに弱く、すでに（例えば、有意水準に比べて）より高い力のために作られた犠牲を構成しています $\alpha = 0.01$または他のより低い有意水準）。これについての意見は異なりますが、私の見解では、これはすでに非常に弱い重要度レベルであるため、それを選択することは、すでにより高いパワーを得るためのトレードオフです。

私の理解では、実験が行われた後、結果が有意でない場合、有意水準はまったく問題になりません。なぜなら、この場合、私たちはnullを受け入れることが理にかなっているかどうかを検討しており、すべての重要なことです力です。同様に、結果が有意である場合、有意水準は証拠となり、検定の検出力はまったく差がありません。

なぜそう思うのかはわかりますが、本当ではありません。古典的な仮説検定では、これらの点で非常に複雑で微妙な相互作用があります。p値と検出力の両方が、仮説の真の状態を条件とする確率（nullのp値条件、および代替の検出力条件）に関連することを覚えておいてください。データから結果を得るとき、仮説について推論しますが、それらの真の状態はまだわかりません。したがって、テストの「その他の半分」を完全に無視できると言っても、それは実際に正当なことではありません。結果が統計的に有意であるかどうかに関係なく、その結果の解釈は、検定のすべての特性に関して総合的に行われます。

また、固定モデルと検定、および固定標本サイズの場合、べき関数は選択した有意水準の関数であることにも注意してください。選択した有意水準は、テストの検出力に直接影響する拒否領域を決定します。繰り返しになりますが、これらの間には関係があり、テストのプロパティの「半分」を無視することはできません。

これは、回答というよりは拡張コメントです。このブログ投稿には、興味深い引用が1つあります。短い引用です。

... [重要性]という言葉は、結果が何かを示した、または意味したことだけを意味する19世紀後半にははるかに少ない重みを帯びたと主張します。その後、20世紀には、重要性を意味するだけでなく、何かを意味するという意味合いが今日の意味に集まり始めました。...

これが正しければ、フィッシャーはメモをとるのにふさわしい（メンタルまたはラボのノートブックのような）重要な何かを意味している可能性があり、さらなる調査または複製に値します。

（心理学研究で）標準的な有意水準を0.05から0.005に下げることを提案しているこのpsyarxiv論文は、0.05がすでにかなり弱い要件であることを多くの人が（正しく...）見ていることのさらなる証拠です。

タイプIIエラーはタイプIエラーよりも問題が少ないと考えられるためです。タイプIのエラーは、将来の研究に大きな影響を与えます。さらに、ほとんどの場合、高出力の実験ははるかに高価です。

しかしもちろん、NHSTフレームワーク全体と、気づかない研究者によって頻繁に悪用される方法の両方に疑問を投げかけることもできます...