p値を理解する

p値を説明する多くの資料があることを知っています。しかし、この概念は、さらに明確にしないとしっかりと把握するのは容易ではありません。

ウィキペディアのp値の定義は次のとおりです。

p値は、帰無仮説が真であると仮定して、少なくとも実際に観測されたものと同じくらい極端な検定統計量を取得する確率です。（http://en.wikipedia.org/wiki/P-value）

私の最初の質問は、「少なくとも実際に観察されたものと同じくらい極端な」という表現に関するものです。p値の使用の根底にあるロジックの私の理解は次のとおりです。p値が小さい場合、帰無仮説を仮定して観測が行われた可能性は低く、観測を説明するために代替仮説が必要になる場合があります。p値がそれほど小さくない場合は、帰無仮説を仮定するだけで観測が行われた可能性が高く、観測を説明するのに対立仮説は必要ありません。したがって、誰かが仮説を主張したい場合、彼/彼女は帰無仮説のp値が非常に小さいことを示さなければなりません。この見解を念頭に置いて、あいまいな表現の私の理解は、p値が$\min[P(X<x),P(x<X)]$、統計のPDFが単峰性の場合、$X$は検定統計量、$x$は観測から取得した値です。これは正解？正しい場合、統計のバイモーダルPDFを使用することはまだ可能ですか？PDFの2つのピークが適切に分離されており、観測値が2つのピーク間の低確率密度領域のどこかにある場合、p値はどの間隔で確率を与えますか？

2番目の質問は、ヴォルフラムMathWorldからp値の別の定義についてです。

変量が偶然に厳密に観測値以上の値をとる確率。（http://mathworld.wolfram.com/P-Value.html）

「偶然に」というフレーズは「帰無仮説を仮定する」と解釈されるべきだと理解しました。そうですか？

3番目の質問は、「帰無仮説」の使用を考えています。誰かがコインが公正であることを主張したいと仮定しましょう。彼は、頭の相対頻度が0.5であるという仮説を表現しています。帰無仮説は、「頭の相対頻度は0.5ではありません」です。この場合、帰無仮説のp値の計算は困難ですが、対立仮説の計算は簡単です。もちろん、2つの仮説の役割を入れ替えることで問題を解決できます。私の質問は、元の対立仮説のp値に直接基づいた拒否または受け入れ（帰無仮説を導入せず）はそれがOKかどうかです。うまくいかない場合、帰無仮説のp値を計算するときのそのような困難に対する通常の回避策は何ですか？

このスレッドでの議論に基づいて、より明確な新しい質問を投稿しました。

最初の答え

値やテスト対象のランダム変数の値ではなく、テスト統計の確率に関して極端な概念で考える必要があります。Christensen、R.（2005）からの次の例を報告します。フィッシャー、ネイマン、ピアソン、およびベイズのテスト。アメリカ統計学者、59（2）、121–126

ここで、は観測値、2行目は帰無仮説下で特定の観測値を観測する確率です。ここでは検定統計量として使用され、3行目は値です。ここにテストのフレームワークがあります。データが変であるかどうかを確認したい仮説（、この場合は）があります。最小の確率の観測値は、それぞれ0.5％の2と3です。たとえば、2を取得した場合、可能性が高いまたは低い可能性（および）を観測する確率は1％です。観測値は寄与しませんθ = 0 P H 0 θ = 0 、R = 2 、R = 3 、R = 4 $r$$\theta=0$$p$$H_0$$\theta=0$$r=2$$r=3$$r=4$$p$ 観察される可能性が高いため、値はさらに離れていますが（順序関係が存在する場合）。

この定義は、順序関係が定義されていないカテゴリ変数と多次元変数の両方に対応するため、一般的に機能します。最も可能性の高い結果からバイアスを観察するイングル定量変数の場合、片側 値を計算し、検定統計量分布の片側にある観察のみを考慮することが理にかなっている場合があります。$p$

二番目の答え

Mathworldのこの定義には完全に同意しません。

第三の答え

私はあなたの質問を理解したかどうかは完全にはわからないと言わざるを得ませんが、あなたを助けるかもしれないいくつかの所見を与えようとします。

帰無仮説のみを持つフィッシャーの検定の最も単純なコンテキストでは、これは現状維持です。これは、フィッシャーのテストが本質的に矛盾によって機能するためです。したがって、コインの場合、別の考えをする理由がない限り、と仮定します。次に、計算しの下で、あなたのデータの値し、あなたの場合は、値が所定の閾値を下回っている、あなたは（背理法）仮説を棄却します。帰無仮説の確率を計算することはありません。p H 0$H_0: \theta=0.5$$p$$H_0$$p$

Neyman-Pearson検定では、2つの対立仮説を指定し、それらの相対尤度とパラメーターベクトルの次元に基づいて、どちらかを優先します。これは、たとえば、バイアスのかかったコインとバイアスのないコインの仮説をテストする際に見ることができます。バイアスなしとは、パラメーターを（このパラメーター空間の次元はゼロ）に固定することを意味し、バイアスは任意の値（1に等しい次元）にすることができます。これにより、別のユーザーが説明したように、不可能である矛盾によってバイアスの仮説を矛盾させようとする問題が解決されます。フィッシャーとNPは、サンプルが大きい場合に同様の結果を出しますが、正確に同等ではありません。以下に、バイアスのかかったコインのRの簡単なコードを示します。θ ≠ $\theta=0.5$$\theta \neq 0.5$

n <- 100  # trials
p_bias <- 0.45  # the coin is biased
k <- as.integer(p_bias * n)  # successes

# value obtained by plugging in the MLE of p, i.e. k/n = p_bias
lambda <- 2 * n * log(2) + 2 * k * log(p_bias) + 2 * (n-k) * log(1. - p_bias)

p_value_F <- 2 * pbinom(k, size=n, prob=0.5)  # p-value under Fisher test
p_value_NP <- 1 - pchisq(q=lambda, df=1)  # p-value under Neyman-Pearson
binom.test(c(k, n-k))  # equivalent to Fisher

（1）統計は、サンプルから計算できる数値です。それはあなたが持っているかもしれないすべてのサンプルを整頓するのに使用されます（仮定されたモデルの下で、コインが彼らの端に着かないとあなたが持っているもの）。場合あなたが実際に得たサンプルから計算するものであり、・、対応する確率変数であり、その後、p値は次式で与えられ 帰無仮説下。「より大きい」と「より極端な」は原則的に重要ではありません。正規平均の両側検定では、 を使用できますが、 適切なテーブルがあるため。（倍増に注意してください。）$t$$T$$\newcommand{\pr}{\mathrm{Pr}} \pr\left(T\geq t\right)$$H_0$$\pr(|Z|\geq |z|)$$2\min [\pr(Z\geq z),\pr(Z\leq z)]$

帰無仮説の下で確率の順序でサンプルを配置するための検定統計量の要件はありません。（Zagの例のように）他の方法が逆に見える場合もあります（何を測定するか、とのどのような不一致が最も重要であるか、などに関する詳細情報なしで）。しかし、しばしば他の基準が使用されます。したがって、テスト統計用のバイモーダルPDFをし、上記の式を使用してをテストます。$r$$H_0$$H_0$

（2）はい、それらは下を意味し。$H_0$

（3）「頭の頻度が0.5ではない」のような帰無仮説は、あなたがそれを決して拒否することができないので、役に立たない。「ヘッドの頻度は0.49999999」を含む、または好きなだけ近い複合ヌルです。事前にコインが公正であるかどうかに関係なく、問題に関係する有用な帰無仮説を選択します。おそらく、実験後、頭の頻度の信頼区間を計算して、明らかに公平なコインではないか、公正に近いか、または調べるためにさらに試行する必要があることを示す方が便利です。

（1）の図：

10回のトスでコインの公平性をテストしているとします。結果はます。それらの3つは次のとおりです。$2^{10}$

$\mathsf{HHHHHHHHHH}\\ \mathsf{HTHTHTHTHT}\\ \mathsf{HHTHHHTTTH}$

おそらく最初の2つは少し疑わしいと思うでしょう。ただし、nullの下の確率は等しくなります。

$\mathrm{Pr}(\mathsf{HHHHHHHHHH}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HTHTHTHTHT}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HHTHHHTTTH}) = \frac{1}{1024}$

どこにでも到達するには、テストするヌルの代替のタイプを検討する必要があります。ヌルとオルタナティブの両方で各トスの独立性を仮定する準備ができている場合（＆実際の状況では、これは実験トライアルが独立していることを確認するために非常に懸命に働くことを意味することが多い）、情報を失うことなくテスト統計としてヘッドの総数を使用できます。（この方法でサンプル空間を分割することは、統計が行うもう1つの重要な仕事です。）

したがって、カウントは0〜10です。

t<-c(0:10)

ヌルの下での分布は

p.null<-dbinom(t,10,0.5)

データに最適な代替のバージョンでは、（たとえば）10頭中3頭が表示される場合、頭の確率はであるため、$\frac{3}{10}$

p.alt<-dbinom(t,10,t/10)

ヌルの下の確率と代替の下の確率の比（尤度比と呼ばれる）を取得します。

lr<-p.alt/p.null

と比べて

plot(log(lr),p.null)

したがって、このnullの場合、2つの統計順序は同じ方法でサンプリングします。0.85のnullで繰り返した場合（つまり、ヘッドの長期的な頻度が85％であることをテストした場合）、繰り返されません。

p.null<-dbinom(t,10,0.85)
plot(log(lr),p.null)

理由を見るために

plot(t,p.alt)

一部の値は代替案では確率が低く、尤度比検定の統計ではこれが考慮されます。注意：この検定統計量は極端ではありません$t$

$\mathsf{HTHTHTHTHT}$

そして、それは問題ありません-すべてのサンプルは、ある観点から極端であると考えることができます。検出できるようにするNULLとの矛盾の種類に応じて、テスト統計を選択します。

...この一連の思考を続けて、1つのコインが次のコインに影響を与える代替案に対して同じヌルをテストするために、サンプル空間を異なる方法で分割する統計を定義できます。実行回数呼び出しように、$r$

$\mathsf{HHTHHHTTTH}$

持っています：$r=6$

$\mathsf{HH}\ \mathsf{T}\ \mathsf{HHH}\ \mathsf{TTT}\ \mathsf{H}$

疑わしいシーケンス

$\mathsf{HTHTHTHTHT}$

有し。だから$r=10$

$\mathsf{THTHTHTHTH}$

一方、極端な

$\mathsf{HHHHHHHHHH}\\ \mathsf{TTTTTTTTTT}$

持っています。ヌルの下の確率を検定統計量（好きな方法）として使用すると、サンプルのp値$r=1$

$\mathsf{HTHTHTHTHT}$

したがって、です。このテストを以前のテストと比較すると、注目に値するのは、nullの下で確率によって与えられた順序に厳密に従う場合でも、サンプル空間を分割するためにテスト統計を定義する方法は、代替案の検討に依存することです。$\frac{4}{1024}=\frac{1}{256}$