p値の信頼区間はどのくらいですか？

-値は、我々は仮説に対して推定することができますどのように強力に報告するために使用されます。明らかなように、この値自体はデータから推定され、同じ条件で収集された新しいデータの場合、新しい値が同じになることはほとんどありません。 $p$ $p$ $p$

Nature Methodsの解説におけるHalsey、Curran-Everett、Vowler＆Drummond（2015）は、値を取り巻く不確実性がかなり大きくなる可能性があることを示しました。返信で、Lazzeroni、Lu＆Belitskaya-Lévy（2016、同じジャーナル）は、信頼区間が0.00000008から0.99になる0.049の観測された値の例を示しました。 $p$ $p$

私の質問は、値の標本分布を知っていますか？後者によれば、サンプルサイズには依存しません（これらはすべてテスト統計を「標準化」するために使用されるため、おそらくサンプルの標準偏差に依存します）。おそらく、それはテスト手順に依存する可能性がありますか？ $p$

私があればということを知っている真である、の分布 -値が1の範囲0にわたって均一である（しかし、私はこのことを学んだ場所を覚えていないことができます）。ますます不十分である、の分布 -値（左テール試験用）0％確率上傾い、峰となります。 $H_0$ $p$ $H_0$ $p$

ブートストラップを使用すると、値の分布を視覚的に表現するのがかなり簡単になります。ただし、より満足のいく答えは、どのような特性がその分布に影響を与えるかを正確に把握できるようにするための式（閉形式はさらに優れている）になることです。これにより、信頼区間の幅が決まります。 $p$

あなたはそのような式を知っていますか、あるいはそれを持つことさえ可能ですか？

— デニス・クジノー
ソース

元のp値と同じ条件下で構築された将来のp値の予測間隔が欲しいと思いますか？おそらく、予測区間ではなく信頼区間を意味しますが、観測値の信頼区間について話すと、私は非常に混乱します。予測区間と信頼区間のどちらを意味するかにかかわらず、区間が将来の研究からの将来のp値の平均を参照するように指定することはかなり確実です。

— クリフAB

@Cliff p値のサンプリング分布があることを受け入れる場合（これは議論の余地がないようです）、p値が制限されているという事実は、このサンプリング分布に期待があることを意味します。その予想は明らかに、特定のモデルおよび特定の検定統計量のコンテキスト内の基礎となる分布の特性です。それを考えると、この期待は合理的に分布自体の特性と見なすことができ、推定、推定、および信頼区間のすべての従来の概念を適用できるようになります。

— whuber

OPが言及したHalseyらの論文とその背後にある理由については、この最近のスレッドで詳しく説明しています：stats.stackexchange.com/questions/250269-これはおそらく重複している（@whuber）そのスレッドの一般的な結論は、Halsey et al（カミングによる以前の研究からの彼らの主張を借りる）はずさんであり、彼らの仮定を述べていません。私は彼らの論文を強く嫌っています。

— アメーバ2017年

@whuberはい、同意します。それでも、OPがそれらの議論を読むことは役立つかもしれません。

— アメーバ2017年

@Amoeba注意：統計のCIを構築することはありません。CIはパラメーターを参照します。古典的な状況（Z検定、t検定など）では、統計とp値の間に1対1の対応があります。統計が何か（通常は効果サイズ）を推定できる範囲で、p値のFortioriも何かを推定する必要があります。しかし、何それが推定するかもしれないことは、CIの構築方法とは何の関係もありません。その推定値のもっともらしい候補は、予想されるp値です（特定のモデル、特定の統計、および特定の効果サイズ）。一番の難しさ、それは私には思える

— whuber

問題は、p値がパラメーターの推定値ではないため、信頼区間の考え方が適用されないことです。また、p値を取り巻く不確実性について話しても意味がありません。p値は確実です。あなたがそれから引き出す結論はそうではありません。

— デビッドレーン
ソース

あなたは、p値が不確かであるという見方を含め、質問の前提を否定しているように見えます。実験が繰り返されると、異なるp値がほぼ確実に発生することがよく知られているため（そして直観的に明らかであるため）、これは物議を醸すことになります。stats.stackexchange.com/questions/181611のスレッドがある程度関連している場合があります。

— whuber

こんにちは、@ Davidです。StackExchangeでお会いできてうれしいです。一般的に、pはパラメータではないことに同意しますが、母集団がパラメータによって特徴付けられる世界をイメージできると確信しています

π

$\pi$ 。この世界では、すべてのサンプルのサイズは一定であり、すべてのサンプリング方法も一定です。このありそうもない世界で（しゃれを許すなら）、

π

$\pi$ パラメータであり、

p \equiv \hat{π}

$p \equiv \hat\pi$ 、おそらく最良の公平な見積もり

π

$\pi$ 。したがって、この世界に関連して私の質問を組み立てると、観察されたものの周りに信頼区間があるか

p

$p$ ？

— Denis Cousineau 2017年

@Denisさん、こんにちは。それは非常に理にかなっています。ただし、p値はレプリケーション間で異なるため、それらは有益ではないという有意性検定の批評（他の人がする）は正しくないと思います。もちろん、レプリケーションが異なると、効果の方向について異なる決定性が得られます（効果はほとんど決してないと思います）。これは、特定の研究の決定性には影響しません。

— デビッドレーン

もちろん、@ Davidが言うように、

p

$p$ ある有益。それらは可変です。信頼区間があり、区間全体が非常に狭く、ゼロに近いことがわかった場合、結論にさらに強さが追加されます。

— Denis Cousineau 2017年

@whuberもちろん、実験を行う前のp値は不確かです。ただし、重要な不確実性は、影響の方向であり、p値ではありません。p値は、推論の対象ではなく、推論を導くためのツールです。そのため、データが重要な効果の証拠を提供すると言っても意味がありません。

— デビッドレーン