大規模な研究で帰無仮説を棄却できなかった場合、それは帰無の証拠ではありませんか？

帰無仮説の有意性検定の基本的な制限は、研究者が帰無を支持する証拠を収集できないことです（ソース）

この主張は複数の場所で繰り返されていますが、その正当性を見つけることはできません。我々は大規模な研究を行い、私たちがした場合、帰無仮説に対して統計学的に有意な証拠を見つけていない、という証拠ではないため帰無仮説は？

帰無仮説を棄却しないと、ある帰無仮説が真であるという証拠が、それは特にないかもしれません良い証拠、そしてそれは確かにしないことを証明帰無仮説を。

ちょっと回り道しましょう。古い決まり文句を少し考えてみましょう。

証拠の欠如は、欠如の証拠ではありません。

人気にもかかわらず、この声明はナンセンスです。何かを探して見つけられなかった場合、それは絶対にそこにない証拠です。その証拠がどれほど優れているかは、検索がどれだけ徹底していたかにかかっています。大まかな検索では、証拠が不十分です。徹底的な検索は強力な証拠を提供します。

さて、仮説検定に戻りましょう。仮説検定を実行するとき、帰無仮説が真実ではないという証拠を探しています。あなたがそれを見つけなければ、それは確かに帰無仮説が真実であるという証拠ですが、その証拠はどのくらい強力ですか？それを知るためには、帰無仮説を拒否させた証拠が検索を逃した可能性があることを知る必要があります。つまり、テストでの偽陰性の確率はどのくらいですか？これは、テストのパワーに関連しています（具体的には、補数の1-です）。$\beta$$\beta$

現在、テストの能力、したがって偽陰性率は、通常、探している効果のサイズに依存します。大きな効果は小さな効果よりも検出が容易です。したがって、実験には単一のはありません。そのため、帰無仮説の証拠がどれほど強力であるかという質問に対する決定的な答えはありません。別の言い方をすれば、常にそこにあるいくつかのそれは実験によって除外いないことを十分に小さい効果サイズが。$\beta$

ここから、続行する2つの方法があります。あるしきい値よりも小さいエフェクトサイズを気にしないことがわかっている場合があります。その場合、おそらく、帰無仮説が効果がそのしきい値を上回るという実験になるように実験を再構成し、効果がしきい値を下回るという対立仮説をテストする必要があります。または、結果を使用して、エフェクトの信頼できるサイズに境界を設定できます。あなたの結論は、効果の大きさはある間隔で、ある確率であるということです。このアプローチは、このような状況に頻繁に陥る場合、ベイジアン治療から少し離れたところにあります。

欠席テストの証拠に関連する関連する質問には、役に立つ回答があります。

NHSTは、p値に依存しています。これは、帰無仮説が真であると仮定すると、データ（またはより極端なデータ）を観測する確率はどのくらいですか？

帰無仮説は真であると仮定します。帰無仮説が100％正しいとNHSTに焼き付けられます。小さいp値は、帰無仮説が真である場合、データ（またはより極端なデータ）はありそうにないことを示しています。

しかし、大きなp値は何を示していますか？帰無仮説が与えられると、データ（またはより極端なデータ）が存在する可能性が高いことがわかります。

一般的に、P（A | B）≠P（B | A）です。

帰無仮説の証拠として大きなp値を取得するとします。次のロジックに依存します。

• nullがtrueの場合、p値が高い可能性があります。（更新：正しくありません。以下のコメントを参照してください。）
• 高いp値が見つかりました。
• したがって、nullはtrueです。

これは、より一般的な形式を取ります。

• Bが真の場合、Aがそうです。
• Aが発生します。
• したがって、Bはtrueです。

ただし、例からわかるように、これは誤りです。

• 外で雨が降った場合、地面が濡れている可能性があります。
• 地面が濡れています。
• そのため、外で雨が降りました。

雨が降ったので、地面はとてもよく濡れていました。または、スプリンクラー、排水溝の清掃、水道管の破損などが原因である可能性があります。上記のリンクで、より極端な例を見つけることができます。

把握するのは非常に難しい概念です。nullの証拠が必要な場合は、ベイジアン推論が必要です。私にとって、この論理の最もアクセスしやすい説明は、Rouderらによるものです。（2016）。論文で推論に無料ランチはありますか？Topics in Cognitive Science、8、 pp。520–547に掲載されています。

仮定の何が悪いのかを把握するには、次の例を参照してください。

住人が見えない動物園の囲いを想像してください。バナナをケージに入れてサルが生息しているという仮説をテストし、翌日になくなったかどうかを確認します。これは、統計的有意性を高めるためにN回繰り返されます。

これで、帰無仮説を定式化できます：囲いの中にサルがいることを考えると、彼らがバナナを見つけて食べる可能性が非常に高いので、バナナが毎日触れられていなければ、中にサルがいる可能性は非常に低いです。

しかし、今では、バナナは毎日（ほぼ）なくなっていることがわかります。それはサルが中にいることを教えてくれますか？

もちろんそうではありません。バナナを好む他の動物もいるからです。あるいは、気配りのある動物園の飼育係が毎晩バナナを取り除くかもしれません。

それで、この論理で犯される間違いは何ですか？ポイントは、中にサルがいなければバナナがなくなる確率について何も知らないということです。帰無仮説を裏付けるために、帰無仮説が間違っている場合、バナナが消失する確率は小さくなければなりませんが、そうである必要はありません。実際、帰無仮説が間違っている場合、イベントは等しく発生する可能性があります（さらに発生する可能性が高くなります）。

この確率を知らなくても、帰無仮説の有効性については何も言えません。動物園管理者が毎晩すべてのバナナを削除すると、一見すると帰無仮説が裏付けられているように見えますが、実験はまったく価値がありません。

Ioannidis は、有名な論文「Why Most Publishing Research Findings Is False」で、ベイジアンの推論と基本レート誤りを使用して、ほとんどの調査結果が偽陽性であると主張しています。まもなく、特定の研究仮説が真である研究後の確率は、とりわけ、前記仮説の研究前の確率（すなわち、基本率）に依存します。

応答として、Moonesinghe et al。（2007）同じフレームワークを使用して、複製が真である仮説の研究後確率を大幅に増加させることを示しました。これは理にかなっています：複数の研究が特定の発見を再現できる場合、推測された仮説が真実であると確信します。

Moonesinghe et alの式を使用しました。（2007）調査結果の複製に失敗した場合の調査後の確率を示すグラフを作成します。特定の研究仮説の研究前の確率が50％であると仮定します。さらに、すべての研究にバイアスはなく（非現実的！）、80％のパワーがあり、0.05のを使用すると仮定しています。$\alpha$

グラフは、10件の研究のうち少なくとも5件が有意性に達しなかった場合、仮説が真であるという研究後の確率はほぼ0であることを示しています。他の研究でも同じ関係が存在します。この発見は直観的にも理にかなっています：効果を見つけられないという繰り返しの失敗は、その効果がほとんど間違いであるという私たちの信念を強めます。この推論は、@ RPLが受け入れた答えと一致しています。

2番目のシナリオとして、研究の50％の力しかないと仮定します（他のすべては等しい）。

すべての研究が実際に存在する場合、効果を見つける力が低いため、研究後の確率はよりゆっくりと減少します。

これについて私が見た最も良い説明は、数学の訓練を受けている人からです。

Null-Hypothesis Significance Testingは、基本的に矛盾による証明です仮定し、証拠はあり$H_0$$H_1$ますか？以下のための証拠がある場合、拒否して受け入れる。以下のための証拠がない場合でも、、それはと言うことは円形だあなたがいることを想定しているため事実であるそもそも本当でした。$H_1$$H_0$$H_1$$H_1$$H_0$$H_0$

仮説検定のこの結果が気に入らないが、ベイジアン手法に完全に移行する準備ができていない場合、信頼区間はどうですか？

コインを回裏返し、ヘッドを見ると、ヘッドの確率の95％信頼区間はと言うことになります。 $42078$$20913$$[0.492,0.502]$

あなたはそれが実際にあるという証拠見ていると述べていない、しかし、証拠が、それはするかもしれないどれだけ近いかについてのいくつかの自信を示している 。$\frac12$$\frac12$

おそらく、帰無仮説の棄却は、それ自体では帰無仮説の証拠ではないと言う方が良いでしょう。データの量をより明示的に考慮するデータの完全な尤度を検討すると、収集されたデータは帰無仮説に含まれるパラメーターをサポートする可能性があります。

ただし、仮説についても慎重に検討する必要があります。特に、点帰無仮説を棄却しないことは、点帰無仮説が真であるという非常に良い証拠ではありません。現実的には、パラメーターの真の値が問題のポイントからそれほど遠くないという証拠を蓄積します。点帰無仮説はある程度人工的な構造であり、ほとんどの場合、それらが完全に真実であるとは信じていません。

有意義な帰無仮説と対立仮説を逆にすることができ、そうするときに新しい帰無仮説を拒否する場合、帰無仮説をサポートする非拒否について話すのがはるかに合理的になります。標準の点帰無仮説でそれを行おうとすると、反転された帰無仮説には考慮中の点にarbitrarily意的に近い値が含まれるため、その補数を拒否することはできません。

一方、たとえば、帰無仮説テストする場合、代替に対する正規分布の平均の、真の値にはサンプルサイズがあります-非現実的に真の値がまたはである場合を除き、ほぼ100％の確率ですレベル信頼区間は内に完全に収まるか、この区間の外にあることに注意してください。任意の有限サンプルサイズについて、境界を横切る信頼区間を取得できます。この場合、帰無仮説の強力な証拠はすべてありません。$H_0: |\mu| \leq \delta$$H_A: |\mu| > \delta$$\mu$$\mu$$-\delta$$+\delta$$1-\alpha$$[-\delta, +\delta]$

むしろ、あなたが言語をどのように使用しているかに依存します。ピアソンとネイマンの決定理論では、それはヌルの証拠ではありませんが、ヌルが真であるかのように振る舞うべきです。

難しさは、モダス・トレンスに起因しています。ベイジアン法は帰納的推論の形式であり、そのため、不完全な推論の形式です。帰無仮説手法は、確率論的な方法のtollensであり、それ自体が演ductive的推論の一部であるため、推論の完全な形式です。

Modus tollensの形式は、「Aがtrueの場合、Bがtrueで、Bがtrueではないため、Aがtrueではない」という形式です。この形式では、nullがtrueの場合、データは特定の方法で表示されますが、その方法では表示されません。したがって、nullはtrueではありません（少なくとも「偽造」 」

問題は、「If A then B and B」が必要なことです。これから、Aを推測したいが、それは有効ではない。「If A then B」は、「if not then then B」が有効なステートメントであることを除外しません。「クマなら、泳ぐことができます。それは魚です（クマではありません）」という文を考えてください。声明は、非熊が泳ぐ能力については何も言っていない。

確率と統計はレトリックの分岐であり、数学の分岐ではありません。数学のヘビーユーザーですが、数学の一部ではありません。説得、意思決定、推論など、さまざまな理由で存在します。それは、レトリックを証拠の規律ある議論に拡張します。

例でこれを説明しようとします。

平均検定を目的として、母集団からサンプリングしていると考えてみましょう。平均サンプルを取得します。有意でないp値を取得する場合、がと間にあるような他の帰無仮説テストした場合、有意でないp値も取得し。さて、値について証拠がありますか？ˉ のx H 0：μ = μ iは、μ iはμ 0 ˉ X$\mu$$\bar{x}$$H_0:\mu=\mu_i$$\mu_i$$\mu_0$$\bar{x}$$\mu$

また、有意なp値を取得する場合、特定の証拠を取得しませんが、代わりにに対する証拠です（証拠としてことができます）、または状況に応じて）。仮説検定の性質は、何かの証拠を提供するものではなく、もしそうであれば、何かに対してのみ行います。H 0：μ = μ 0 μ ≠ μ 0 μ < μ 0 μ > μ $H_1:\mu=M$$H_0:\mu=\mu_0$$\mu\ne\mu_0$$\mu<\mu_0$$\mu>\mu_0$

$\bar x \approx 0$$t$$H_0: \bar x = \mu$$\mu = -0.5$$p > 0.05$$H_0$$\mu = 0.5$$t$$p$$\mu = -0.5$$\mu = 0.5$

$p$$H_0$$p$$H_0$ $H_1$$\mu$$\mu$$\mu$

$\hat\mu$$\hat\mu$$\hat\mu$$f(\mu|X) \ne f(X|\mu)$$f(\mu|X)$$\hat\mu$。これはベイズの定理につながります

$\mu$$\hat\mu$$\mu$

$H_1$$H_0$$H_0$、など。あなたが彼女にいくつかの数字を頼むと、彼女はあなたにそれらを与えますが、数字は比較できません。問題は、仮説検定/オラクルがフレームワークで動作することです。ここでは、他の仮説を検討していないため、データが何らかの仮説と矛盾しているかどうかを尋ねる質問に対してのみ決定的な答えを出すことができます。

簡単な例を見てみましょう。

私の帰無仮説は、データが正規分布に従うというものです。対立仮説は、私のデータの分布は正規ではないということです。

[0,1]の一様分布から2つのランダムサンプルを描画します。2つのサンプルだけでは多くのことができないため、帰無仮説を拒否することはできません。

それは、データが正規分布に従っていると結論付けることができるということですか？いいえ、それは均一な分布です!!

問題は、帰無仮説で正規性を仮定したことです。したがって、私はそれを拒否できないので、私の仮定が正しいと結論付けることはできません。

$H_0$$H_0$

$H_0$$H_0$$H_0$

いいえ、証拠であるという証拠がない限り、証拠ではありません。私はかわいい、むしろ文字通りにしようとはしていません。nullがtrueであると仮定すると、このようなデータが表示される可能性があります。p値から得られるのはそれだけです（その場合、p値は仮定自体に基づいているため）。

帰無仮説をサポートすることが「失敗」した研究では、帰無仮説の大部分が真であることが判明したことを示す研究を提示できますか？THATスタディを見つけることができる場合、帰無仮説を反証できないということは、少なくとも、帰無が真であるという非常に一般化された可能性を反映しています。私はあなたがその研究を持っていないに違いない。帰無仮説がp値に基づいて真であるという証拠はないので、手ぶらで歩く必要があります。

まず、n値がtrueであると想定してそのp値を取得したため、p値はnullについては何も伝えず、データについてのみ伝えることができます。それについて考えてください。それは一方向の推論です-期間。