p <.05での公開されたp値の分布の不連続の原因は何ですか？

最近の論文で、Masicampo and Lalande（ML）は、多くの異なる研究で発表された多数のp値を収集しました。彼らは、正準臨界レベル5％でp値のヒストグラムに奇妙なジャンプを観察しました。

Wasserman教授のブログで、このML現象についての素晴らしい議論があります。

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

彼のブログには、ヒストグラムがあります。

5％レベルは自然法則であり、自然法則ではないため、公開されたp値の経験的分布のこの動作の原因は何ですか？

選択バイアス、正準臨界レベルのすぐ上のp値の体系的な「調整」、または何？

（1）@PeterFlomで既に述べたように、1つの説明は「ファイルドロワー」問題に関連している可能性があります。（2）@Zenも（例えば、著者（s）はデータ又はモデル（単数または複数）を操作する場合を述べたデータは、浚渫）。（3）ただし、仮説を純粋にランダムにテストするわけではありません。つまり、仮説は偶然に選択されるのではなく、理論的な仮定が（多かれ少なかれ）あります。

また、いわゆる「キャリパーテスト」を適用して最近その分野で研究を行ったガーバーとマルホトラの作品にも興味があるかもしれません。

• 統計報告基準は公開内容に影響しますか？2つの主要な政治学雑誌の出版バイアス

• 実証的社会学的研究における出版バイアス：任意の有意水準は公表された結果を歪めるか？

また、Andreas Diekmannが編集したこの特別な問題にも興味があるかもしれません。

• 経済社会科学における方法論的アーチファクト、データ操作および不正

これまで欠けている議論の1つは、研究者の自由度として知られるデータ分析の柔軟性です。すべての分析では、多くの決定が行われ、外れ値の基準を設定する場所、データを変換する方法、および...

これは最近、シモンズ、ネルソン、サイモンソンの有力な記事で取り上げられました。

シモンズ、JP、ネルソン、LD、およびサイモンソン、U。（2011）。偽陽性心理学：データの収集と分析における非公開の柔軟性により、あらゆるものを重要なものとして提示できます。 心理学、22（11）、1359 – 1366。doi：10.1177 / 0956797611417632

（これは、社会心理学で最近検出されたデータ詐欺のいくつかのケースを担当しているのと同じサイモンソンであることに注意してください。例えば、インタビュー、ブログ投稿）

すでに言われたことはすべての組み合わせだと思います。これは非常に興味深いデータであり、これまでこのようなp値の分布を見ることは考えていませんでした。帰無仮説が真の場合、p値は均一になります。しかし、当然のことながら、公開された結果では、多くの理由で均一性は見られません。

1. 帰無仮説が偽であると予想されるため、調査を行います。したがって、重要な結果を頻繁に取得する必要があります。

2. 帰無仮説が偽の場合、半分の時間でp値の均一な分布が得られません。

3. ファイルドロワーの問題：前述のように、p値が重要でない場合（たとえば0.05以下）に論文を提出することを恐れます。

4. 出版社は、たとえ私たちがそれを提出することを選んだとしても、重要でない結果のために論文を拒否します。

5. 結果が境界線上にあるとき、重要性を得るために（おそらく悪意を持ってではない）ことを行います。（a）p値が0.053の場合は0.05に切り捨て、（b）外れ値と思われる観測値を見つけ、それらをrmovした後、p値は0.05未満に低下します。

これが、合理的に理解できる方法で言われたすべてを要約することを望みます。

興味があると思うのは、p値が0.05から0.1の間であるということです。公開ルールがp値が0.05を超えるものを拒否する場合、右テールは0.05で切り捨てられます。実際に0.10でカットオフになりましたか？もしそうなら、多分何人かの著者といくつかの雑誌は0.10の有意水準を受け入れますが、それ以上はありません。

多くの論文には複数のp値が含まれており（複数に調整されているかどうかは調整されていない）、主要なテストが重要だったために論​​文が受け入れられているため、重要でないp値がリストに含まれている可能性があります。これにより、「論文で報告されたすべてのp値がヒストグラムに含まれていましたか？」という疑問が生じます。

さらに、p値が0.05をはるかに下回ると、発表された論文の頻度が大幅に増加するという観察結果があります。多分、それは著者がp値が0.0001よりもはるかに公表に値すると考えるp値を過剰解釈していることを示している。著者は、p値が効果サイズの大きさに依存するのと同じくらいサンプルサイズに依存することを無視するか、または気付かないと思います。