p値を使用して、仮説が真である確率を計算します。他に何が必要ですか？

質問：

p値についてよくある誤解の1つは、帰無仮説が真である確率を表しているということです。私はそれが正しくないことを知っています。また、帰無仮説が真である場合、p値はこれと同じくらい極端なサンプルを見つける確率を表すだけであることを知っています。しかし、直感的には、後者から最初のものを導出できるはずです。誰もこれをしていない理由があるに違いない。p値と関連データから仮説が真である確率を導き出すことを制限する、どのような情報が欠けているのでしょうか？

---

例：

私たちの仮説は「ビタミンDは気分に影響を与える」です（帰無仮説は「影響なし」です）。1000人で適切な統計調査を行い、気分とビタミンレベルの相関関係を見つけたとします。他のすべてのものが等しい場合、0.01のp値は、0.05のp値よりも真の仮説の可能性が高いことを示します。たとえば、p値が0.05であるとします。仮説が真である実際の確率を計算できないのはなぜですか？どのような情報が不足していますか？

---

頻度主義統計学者のための代替用語：

私の質問の前提を受け入れるなら、ここを読むのをやめることができます。以下は、仮説が確率解釈を持つ可能性があることを受け入れない人のためのものです。少し用語を忘れましょう。代わりに...

友達と賭けているとしましょう。あなたの友人はあなたに無関係な主題についての千の統計的研究を示します。各スタディでは、p値、サンプルサイズ、およびサンプルの標準偏差のみを確認できます。それぞれの研究について、あなたの友人はあなたに、研究で提示された仮説が真実であると賭ける確率を提供します。賭けをするかしないかを選択できます。1000件すべての研究に賭けをした後、オラクルがあなたに上って、どの仮説が正しいかを教えてくれます。この情報により、賭けを清算することができます。私の主張は、このゲームに最適な戦略があるということです。私の世界観では、これは仮説の確率が真であることを知ることと同じですが、私たちが同意しない場合は問題ありません。その場合、賭けの期待を最大化するためにp値を使用する方法について簡単に話すことができます。

他の答えはすべて哲学的ですが、なぜここでそれが必要なのかわかりません。あなたの例を考えてみましょう：

私たちの仮説は「ビタミンDは気分に影響を与える」です（帰無仮説は「影響なし」です）。1000人で適切な統計調査を行い、気分とビタミンレベルの相関関係を見つけたとします。他のすべてのものが等しい場合、0.01のp値は、0.05のp値よりも真の仮説の可能性が高いことを示します。たとえば、p値が0.05であるとします。仮説が真である実際の確率を計算できないのはなぜですか？どのような情報が不足していますか？

$n=1000$$p=0.05$$\hat \rho=0.062$$H_0: \rho=0$$H_1: \rho\ne 0$

$$p\text{-value} = P\big(|\hat\rho|\ge 0.062 \;\big|\; \rho=0\big),$$ $\hat\rho$

を計算する

$$P(H_0\;|\;\text{data})=P\big(\rho=0\;\big|\; \hat\rho= 0.062\big),$$

このためには、追加の材料の束全体が必要です。実際、ベイズの定理を適用することにより、次のように書き直すことができます。

$$\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)}{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)+P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big) \cdot (1-P(\rho=0))}.$$

したがって、nullの事後確率を計算するには、次の2つのことを行う必要があります。

1. $P(\rho=0)$
2. $\rho$$P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)$

$P(\rho=0)=0.5$$\rho$

$$B=\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) }{P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)}.$$

$\rho$

$P(H_0)$$P(\hat\rho\;|\;\rho=0)$

最新のVeritaを終了しますか？

@amoebaの回答は元のポスターと同じくらい簡単に受け入れることができます。ただし、私はすべての作業において、「帰無仮説が真である確率」を計算したベイズ分析に出会ったことはありません。そして、そのような結論はあなたの仕事をレビューする人々からの多くの議論を引き付けます！哲学的に、それは$Pr(H_0 | X)$$1$$0$

$p$

逆の批判は、事前に自由に適用できるベイズの研究に適用されています。

帰無仮説が真であるかどうかを決定するための欠けている情報は、簡単に言えば、帰無仮説が真であるかどうかに関する知識です。記述統計に焦点を当てたときに皮肉なことに、我々は可能なエフェクトの許容範囲を受け入れることができ、やや強く傾向があると結論付け、おそらく真：しかし、統計的テストはこのような知見に私たちを導くものではありません。ベイジアン推論でさえ、方法論的な問題がなければデータが特異事後につながることはないので、事前確率を組み込んでもこの問題は解決されません。

統計の歴史であなたが言ったことを正確に行うための2つの試み、ベイジアンとフィデューシャルがあります。RAフィッシャーは、統計的思考の2つの学校を設立しました。最尤法は、最尤法とフィデューシャルを中心に構築しました。

なぜ失敗したのかという簡単な答えは、その確率分布が1に統合されなかったということです。教訓は、結局のところ、事前確率は、作成しようとしているものを作成するために必要なものであるということでした。確かに、あなたは歴史の最も偉大な統計学者の1人の道を進み、他のいくつかの偉大な統計家がこの問題の解決を期待して亡くなりました。見つかった場合、ベイズ法と同等の帰無仮説法を、それらが解決できる問題のタイプに関して配置します。実際、実際の事前情報が存在する場合を除いて、それはベイズを通過するでしょう。

また、p値が代替案の可能性が高いことを示すというステートメントにも注意が必要です。それはフィッシャーの尤度主義学校でのみ真実です。それはピアソン-ネイマンフリークエンティスト学校では全く真実ではありません。一番下のベットはピアソンネイマンベットであるように見えますが、p値はフィッシャースクールからのものであるため互換性がありません。

慈善団体となるために、私はあなたの例として、出版バイアスがないため、重要な結果のみがジャーナルに表示され、誤った発見率が高くなると想定します。私はこれを、結果に関係なく、実行されたすべての研究のランダムなサンプルとして扱います。あなたの賭けのオッズは、古典的なde Finettiの意味で首尾一貫していないと私は主張します。

de Finettiの世界では、プレイヤーがブックでゲームをプレイできず、確実な損失に直面する場合、賭けは首尾一貫しています。最も単純な構造では、ケーキを切る問題の解決策のようなものです。1人が半分にカットしますが、もう1人は希望するピースを選択します。この構成では、一人の人が各仮説の賭けの価格を述べますが、他の人は賭けを買うか売るかを選択します。本質的には、ヌルを空売りできます。最適であるためには、オッズは厳密に公平でなければなりません。P値は、公平なオッズにはなりません。

これを説明するために、http： //ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdfにあるWetzelsらの研究を検討してください。

その引用は、Ruud Wetzels、Dora Matzke、Michael D. Lee、Jeffrey N. Rounder、Geoffrey J. Iverson、およびEric-Jan Wagenmakersです。実験心理学における統計的証拠：855 t検定を使用した経験的比較。心理学の展望。6（3）291-298。2011年

これは、以前の分布の問題を回避するためにベイズ因子を使用した855の公開されたt検定の直接比較です。.05と.01の間のp値の70％で、ベイズ因子はせいぜい逸話的でした。これは、問題を解決するために頻繁に使用される数学的形式によるものです。

帰無仮説法は、モデルが真であると仮定し、その構成により確率分布ではなくミニマックス統計分布を使用します。これらの要因は両方とも、ベイジアンソリューションと非ベイジアンソリューションの違いに影響を与えます。ベイズ法が仮説の事後確率を3％として評価する研究を考えてみましょう。p値が5％未満であると想像してください。3％は5％未満なので、どちらも正しいです。それにもかかわらず、p値は確率ではありません。仮説が真または偽である実際の確率ではなく、データを参照する確率である可能性がある最大値のみを示します。実際、p値の構成では、偶然による真のヌルによる影響と、良好なデータによる偽のヌルによる影響を区別できません。

ウェッツェル研究を見ると、p値によって暗示されるオッズがベイジアンメジャーによって暗示されるオッズと一致していないことが非常に明白であることがわかります。ベイジアン測度は許容可能でコヒーレントであり、非ベイジアンはコヒーレントではないため、p値が真の確率にマッピングされると仮定するのは安全ではありません。nullが有効であるという強制的な仮定は、適切なカバレッジ確率を提供しますが、適切なギャンブル確率を生成しません。

理由をよりよく理解するために、仮説の妥当性は実数で記述できるというコックスの最初の公理を考えてみましょう。暗黙的に、これはすべての仮説がその妥当性に関連付けられた実数を持っていることを意味します。帰無仮説法では、帰無のみがその妥当性に結び付けられた実数を持っています。対立仮説は測定されておらず、nullがtrueの場合、データを観察する確率を補完するものではありません。実際、ヌルが真の場合、データに関係なく、補数は仮定によって偽になります。

測定の基礎としてp値を使用して確率を構築した場合、ベイジアン測定を使用したベイジアンは常にあなたよりも有利になります。ベイジアンがオッズを設定した場合、ピアソンとネイマンの意思決定理論は賭けの陳述を提供するか、賭けませんが、賭けの金額を定義することはできません。ベイジアンオッズは公平だったので、ピアソンとネイマンの方法を使用した場合の予想ゲインはゼロになります。

確かに、ウェッツェル調査は実際にあなたがやろうとしていることですが、ベットは145少ないです。表3を見ると、Frequentistがnullを拒否する研究がいくつかありますが、ベイジアンは確率がnullを優先していることがわかります。

頻度分析は、特定の仮説が真（または偽）である確率を与えることができません。これは、実行頻度が長くない（真またはそうでない）ため、確率を割り当てることができないためです（おそらく0または1を除く）。 ）。特定の仮説が真である確率を知りたい場合は、ベイジアンフレームワークを採用する必要があります（単純な場合は、事前確率などを考慮する必要があります）。

頻度論者は、帰無仮説検定（Neyman-Pearsonフレームワーク）に作用するための最適な戦略を見つけることができますが、それを仮説が真である確率に変換することはできませんが、確率の定義が原因です。

1000件すべての研究に対して賭けをした後、オラクルがあなたに上って、どの仮説が正しいかを教えてくれます。この情報により、賭けを清算することができます。私の主張は、このゲームには最適な戦略が存在するということです。

セットアップの問題はOracleです。通常、賭けを決済することはありません。たとえば、喫煙が癌を引き起こすことが本当である確率は97％であると賭けています。このオラクルはいつ賭けを決済するのですか？決して。次に、あなたの最適な戦略が最適であることをどのように証明しますか？

ただし、Oracleを削除し、競合他社や顧客などの他のエージェントを導入する場合は、最適な戦略があります。ただし、p値に基づいていないと思います。これは、損失関数を使用したGossetのアプローチにより似ています。たとえば、農業部門のあなたとあなたの競争相手は、天気予報が真実であることに賭けています。より良い戦略を選ぶ人は誰でもより多くのお金を稼ぐでしょう。Oracleには必要がなく、賭けは市場で決済されます。ここでp値に基づいて戦略を立てることはできません。損失と利益をドルで説明する必要があります。

$H_0: \mu_L=1.75$$H_1: \mu_L \ne 1.75$

$H_0$$P(H_0=TRUE)$

$H_0$

p値のスレッドについては、p値の誤解を参照してください。

$H_0$$H_0$

$H_0:$$H_1:$

$H_0$$H_0$

$H_0$$H_0$$H_1$

$H_0$$H_0$$H_1$$H_0$

$H_0$$H_1$

彼らは、「利用可能なデータ」から導出された「テストの結論」に対する信念を表明するだけです。