結果を「非常に重要」と呼ぶのは間違っていますか？

値が従来のレベルのはるかに下回る場合、統計学者が結果を「非常に重要」と呼ぶことを思いとどまらせるのはなぜですか？α $p$$\alpha$$0.05$

99％（）の確率しか得られない結果よりも、タイプIエラー（）ではない確率が99.9％の結果を信頼することは本当に間違っていますか？p = $p=0.001$$p=0.01$

結果が「非常に重要」であると言っても、それほど間違っていないと思います（そうだとしても、少しずさんです）。

これは、はるかに小さい有意水準設定した場合でも、結果を有意と判断したことを意味します。または、同等に、読者の一部がはるかに小さいを念頭に置いている場合、彼らはあなたの結果を重要であると判断することができます。$\alpha$$\alpha$

有意水準は見る人の目にあるのに注意してください。一方、値は（いくつかの注意事項を伴って）データのプロパティです。$\alpha$$p$

観察ちょうど観察と同じではありません両方があなたのフィールド（の標準規則によって「重要」と呼ばれるかもしれないにもかかわらず、）。小さな値は、nullに対する強力な証拠を意味します（フィッシャーの仮説検定のフレームワークが好きな人向け）。つまり、効果サイズの周りの信頼区間は、マージンが大きいヌル値を除外します（CIを値よりも好む人向け）。これは、ヌルの事後確率が小さくなることを意味します（事前確率のあるベイジアンの場合）。これはすべて同等であり、単に結果がより説得力があることを意味します。参照してくださいより説得力の小さいp値はありますか？、P = 0.04 α = 0.05 のp $p=10^{-10}$$p=0.04$$\alpha=0.05$$p$$p$ より多くの議論のために。

「非常に重要」という用語は正確ではなく、そうである必要はありません。これは主観的な専門家の判断であり、驚くほど大きな効果サイズを観察し、それを「巨大」（または単に「非常に大きい」）と呼びます。科学的文章であっても、データの定性的で主観的な説明を使用しても問題はありません。もちろん、客観的な定量分析も提示されます。

上記の優れたコメントもご覧ください。@ whuber、@ Glen_b、@ COOLSerdashに+1を追加してください。

これはよくある質問です。

同様の質問は、「p <= 0.05が有意とみなされる理由」です。（http://www.jerrydallal.com/LHSP/p05.htm）

@ Michael-Mayerは答えの一部を示しました。重要性は答えの一部にすぎません。十分なデータがあれば、通常、いくつかのパラメーターは「重要」として表示されます（Bonferroni補正を調べます）。多重検査は、有意性を求める大規模な研究が一般的であり、p値<10 ^-8がしばしば必要とされる遺伝学における特定の問題です（http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2621212/）。

また、多くの分析の1つの問題は、それらが日和見的であり、事前に計画されていないことです（つまり、「データを十分に拷問すると、自然は常に自白します。」-ロナルドコーズ）。

一般的に、分析が事前に計画されている場合（統計的検出力の分析を繰り返して修正する場合）、重要と見なすことができます。多くの場合、複数の個人またはグループによる繰り返しテストが、何かが機能する（または機能しない）ことを確認するための最良の方法です。そして、結果の繰り返しは、ほとんどの場合、重要性の正しいテストです。

テストは、白黒の決定のためのツールです。つまり、「真の治療効果はありますか？」のようなyes / noの質問に答えようとします。多くの場合、特にデータセットが大きい場合、そのような質問はリソースのかなりの無駄です。「真の治療効果はどれくらい大きいか」などの定量的質問への回答を得ることができる場合、なぜ二項質問をするのですか？それは暗黙的にyes / noの質問にも答えますか？そのため、情報のないyes / noの質問に高い確実性で回答する代わりに、多くの情報を含む信頼区間の使用をお勧めします。