ASAは

すでにp値としてタグ付けされた複数のスレッドがあり、それらについての多くの誤解が明らかになっています。10か月前、p値を「禁止」した心理学雑誌$p$についてのスレッドがありましたが、現在は米国統計協会（2016）の分析では「値の計算で終わるべきではない」と言われています。$p$

米国統計協会（ASA）は、値の適切な使用と解釈の根底にあるいくつかの広く合意された原則を明確にする正式な声明から科学界が利益を得ることができると考えています。$p$

委員会は、値の可能な代替手段または補足として他のアプローチをリストします。$p$

値の一般的な誤用および誤解を考慮して 、一部の統計学者はp値を他のアプローチで補完するか、さらには置き換えることを好み ます。これらには、信頼性、信頼性、予測間隔など、テストよりも推定を重視する方法が含まれます。ベイジアン法; 尤度比やベイズ因子などの証拠の代替手段。意思決定理論モデリングや誤発見率などの他のアプローチ。これらの測定とアプローチはすべて、さらなる仮定に依存していますが、効果のサイズ（および関連する不確実性）または仮説が正しいかどうかにより直接対処する場合があります。$p$$p$

それでは、値後の現実を想像してみましょう。ASAは、p値の代わりに使用できるいくつかのメソッドをリストしていますが、なぜより良いのですか？すべての人生でp値を使用した研究者にとって、実際の代替物となるのはどれですか？私が質問のこの種のことを想像するだろう後に表示されたpので、多分のは、一歩先にそれらのことを試してみましょう、-values現実。すぐに適用できる合理的な代替手段は何ですか？このアプローチが主任研究者、編集者、または読者を説得するのはなぜですか？$p$$p$$p$$p$

このフォローアップブログエントリが示唆しているように、値はそのシンプルさにおいて無敵です。$p$

p値には、保持する帰無仮説の下での統計の振る舞いの統計モデルのみが必要です。「良い」統計（p値の構築に使用される）を選択するために対立仮説のモデルが使用される場合でも、この代替モデルは、p値が有効であり、有用です（つまり、実際の効果を検出するためのパワーを提供しながら、希望するレベルでタイプIエラーを制御します）。対照的に、尤度比、効果サイズ推定、信頼区間、ベイジアン法などの他の（驚くほど有用な）統計的手法はすべて、テストされたヌルの下だけでなく、より広い範囲の状況を保持するための仮定モデルを必要とします。

それとも、それとも真実ではないのでしょうか？

私は知っていますが、これは広範ですが、主な質問は簡単です：代替として使用できる値に代わる最良の（そしてなぜ）実際の代替物は何ですか？$p$

ASA（2016）。統計的有意性と値に関するASAステートメント。$P$ アメリカの統計学者。（印刷中）

この答えは、p値に代わるものは何かという特定の質問に焦点を当てます。$p$

ASAの声明とともに21のディスカッションペーパーが（補足資料として）公開されています。ナオミアルトマン、ダグラスアルトマン、ダニエルJ.ベンジャミン、ヨアフベンジャミニ、ジムバーガー、ドンベリー、ジョンカーリン、ジョージコブ、アンドリューゲルマン、スティーブグッドマン、サンダー・グリーンランド、ジョン・イオアニディス、ジョセフ・ホロウィッツ、ヴァレン・ジョンソン、マイケル・ラヴィン、マイケル・ルー、ロッド・リトル、デボラ・メイヨー、ミシェル・ミラー、チャールズ・プール、ケン・ロスマン、スティーブン・セン、ダリーン・スタングル、フィリップ・スターク、スティーブ・ジリアク;今後の検索のためにすべてをリストします）。これらの人々は、おそらく値と統計的推論に関する既存の意見をすべてカバーしています。$p$

21の論文すべてを調べました。

$p$$p$

それでは、ASAステートメント自体（質問で引用）に記載されている「その他のアプローチ」のリストを見てみましょう。

[その他のアプローチ]には、信頼性、信頼性、予測間隔など、テストよりも推定を重視する方法が含まれます。ベイジアン法; 尤度比やベイズ因子などの証拠の代替手段。また、意思決定理論モデリングや誤発見率などの他のアプローチ。

1. 信頼区間

   $p$$\pm$$p$

   $p$

   $p$

   $p$

2. ベイジアン法

   （ASAステートメントがリストをどのように定式化するのが好きではありません。信頼区間とベイズ因子は「ベイジアン手法」とは別にリストされますが、明らかにベイジアンツールです。ここで一緒に数えます。）

   • $p(\theta|\text{data})$$p(H_0:\theta=0|\text{data})$$p(\text{data at least as extreme}|H_0)$—残念ながら、通常、人々は良い優先順位を持っていません。実験者は、ある条件で何かをしている20匹のラットと、別の条件で同じことをしている20匹のラットを記録します。前者のラットのパフォーマンスは後者のラットのパフォーマンスを超えると予測されていますが、パフォーマンスの違いについて明確な事前を述べる意思のある、または実際に述べることができる人はいません。（しかし、彼が「懐疑的な事前決定」を使用することを提唱している@FrankHarrellの答えを参照してください。）

   • $t$

   • ハロルド・ジェフリーズに戻る別のアプローチは、ベイジアン推定に反してベイジアン検定に基づいており、ベイズ因子を使用します。より雄弁で多作な支持者の1人はEric-Jan Wagenmakersです。彼は近年このトピックに関して多くのことを発表しています。このアプローチの2つの機能は、ここで強調する価値があります。最初に、そのようなベイジアン検定の結果が対立仮説特定の選択にどれだけ強く依存できるかについての説明については、Wetzels et al。、2012、ANOVA Designs for ANOVA Designsを参照してください$H_1$$p$

     

     $p$$p$$0.05$$\alpha$

     $p$

     Uri Simonsohnによるブログ記事「デフォルトのベイジアンテストは小さな影響に対して偏見です」も参照してください。

   • $p$$p$

   
   ベイズ推定とベイズ検定の詳細については、ベイズパラメーター推定またはベイズ仮説検定を参照してください。その中のリンク。

3. 最小ベイズ係数

   ASAの論争者の間で、これはBenjamin＆BergerとValen Johnsonによって明示的に示唆されています（具体的な代替案を提案することについての唯一の2つの論文）。具体的な提案は少し異なりますが、精神的には似ています。

   • $\mu=0$$0.5$$\mu$$0.5$$0$$p(H_0)$$p$$p$$p$$-ep\log(p)$$p$$-e\log(p)$$10$$20$$p$ スティーブン・グッドマンも。

     後の更新：これらのアイデアを簡単な方法で説明する素敵な漫画をご覧ください。

     $p$$p$

     

   • $p$$\sqrt{-4\pi\log(p)}$$5$$10$

   
   ジョンソンの論文に対する短い批判については、PNAS のAndrew Gelmanと@ Xi'anの回答を参照してください。1987年のBerger＆Sellkeへの反論については、Casella＆Berger 1987（異なるBerger！）を参照してください。APAディスカッションペーパーの中で、Stephen Sennは、これらのアプローチのいずれかに明示的に反対します。

   $P$

   Mayoのブログへの参照を含む、Sennの論文の参照も参照してください。

4. ASAステートメントには、別の選択肢として「決定論的モデリングと誤検出率」がリストされています。私は彼らが何について話しているのか見当がつかず、Starkのディスカッションペーパーでこれが述べられているのを見てうれしく思いました。

   $p$$p$

$p$$p$$p$$p$$p$

Andrew Gelmanのディスカッションペーパーから引用するには：

$p$$p$

そして、スティーブン・センから：

$P$

$p<0.05$$p$

[...] NHSTに代わる魔法の代替手段、それを置き換える他の客観的な機械的儀式を探してはいけません。存在しません。

これが私の2セントです。

ある時点で、多くの応用科学者が次の「定理」を述べたと思います。

$p\text{-value}<0.05\Leftrightarrow \text{my hypothesis is true}.$

そして、ほとんどの悪い習慣はここから来ています。

$p$

私は統計を実際に理解せずに人々と仕事をしていましたが、ここに私が見るもののいくつかがあります：

1. $p<0.05$

2. $p<0.05$

3. $0.05$

それはすべて、熟知した誠実な科学者によって行われ、不正行為に対する強い感覚はありません。どうして ？私見、定理1のため。

$p$$0.05$$p$$<0.05$$p$$<0.05$

$p$

$p$

$p$$>0.05$

4. $H_0: \mu_1 \ne \mu_2$$p$$H_0$$p=0.2$

$p$$p(\mu_1>\mu_2|x)$$p(\mu_1<\mu_2|x)$$\mu_1>\mu_2$$\mu_2>\mu_1$

別の関連するケースは、専門家が望む場合です：

5. $\mu_1>\mu_2>\mu_3$$\mu_1=\mu_2=\mu_3$$\mu_1>\mu_2>\mu_3$

このケースを解決する唯一の解決策は、対立仮説に言及することです。

そのため、事後オッズ、ベイズ因子または尤度比を信頼/信頼区間と組み合わせて使用​​すると、主要な問題が軽減されるようです。

$p$

$p$$p$

私の2セントの結論

$p$

$P$

1. ベイジアン法よりも多くのソフトウェアが頻繁に使用される方法に利用できます。
2. 現在、一部のベイジアン分析の実行には時間がかかります。
3. ベイジアン手法では、より多くの思考と時間の投資が必要です。私は思考の部分を気にしませんが、時間が短いことが多いので、ショートカットを取ります。
4. ブートストラップは、ベイジアンよりも頻度の高い世界により関連した、非常に柔軟で便利な日常的な手法です。

$P$$P$ 任意の多重度調整を行う必要があり、影響はあるかもしれないが実際にはそうではないデータの外観を調整することさえできます

$P$

ガウス線形モデルと指数分布を除いて、頻度論的推論で行うほとんどすべてが近似です（対数尤度関数が非常に非二次であるため問題を引き起こすバイナリロジスティックモデルが良い例です）。ベイジアン推論を使用すると、すべてがシミュレーションエラーの範囲内で正確になります（そして、事後確率/信頼できる間隔を取得するためにいつでもより多くのシミュレーションを実行できます）。

http://www.fharrell.com/2017/02/my-journey-from-frequentist-to-bayesian.htmlに私の思考と進化のより詳細な説明を書きました。

ウォートンのブリリアント予報官スコットアームストロングは、10年ほど前に、彼が共同設立したジャーナルを予測する国際ジャーナルで、「重要性テストが予測における害の進行状況」というタイトルの記事を発表しました。これは予測ではありますが、データ分析や意思決定に一般化できます。記事では次のように述べています。

「統計的有意性のテストは科学の進歩に害を及ぼします。これまでのところ、この結論の例外を見つけようとする努力はありませんでした。」

これは、有意性検定とP値の対立的な見解に関心のある人にとって優れた読み物です。

私がこの記事が好きな理由は、アームストロングが簡潔であり、特に私のような非統計学者にとって容易に理解できる有意性検定の代替手段を提供するからです。私の意見では、これは質問で引用されたASAの記事よりもはるかに優れています：

ランダム化された実験的研究または準実験を行う場合を除き、これらすべてを受け入れ続け、有意性テストの使用またはP値の確認を停止しました。製薬業界/ライフサイエンスおよび工学の一部の分野を除いて、実際には非常にまれなランダム化実験を追加する必要があります。

$p$

私たちが現代のテストを実施する方法は、どちらも現代の方法に大きく貢献したフィッシャーとネイマン・ピアソンの理論と展望と決して一致しないことを指摘します。フィッシャーの最初の提案は、科学者が定性的に比較し、べきであるというものでした$p$。私はまだこれが適切なアプローチだと思います、それはそれらのコンテンツ専門家の手に調査結果の科学的適用性の問題を残します。現在、現代のアプリケーションで見つかったエラーは、科学としての統計の欠陥ではありません。また、遊び、外挿、および誇張も行われます。確かに、もし心臓病専門医が嘘をついて、平均血圧を0.1mmHg下げる薬が「臨床的に重要」であると主張するなら、統計はそのような不正から私たちを守ることはありません。

決定理論の統計的推論に終止符が必要です。仮説を超えて考えるよう努力する必要があります。臨床的有用性と仮説駆動型調査との間のギャップの拡大は、科学的完全性を損ないます。「重要な」研究は非常に示唆に富んでいますが、臨床的に意味のある発見を約束することはめったにありません。

これは、仮説駆動型推論の属性を調べると明らかです。

• 述べられた帰無仮説は考案されており、現在の知識に同意せず、理由や期待に反します。
• 仮説は、著者が作成しようとしているポイントに正接する場合があります。統計は、その後の記事での議論の多くとほとんど一致せず、著者は、例えば、観察研究が公共政策とアウトリーチに影響を与えるという広範囲に及ぶ主張をしている。
• 仮説は、関心のある母集団を適切に定義していないという意味で不完全な傾向があり、一般化につながる傾向があります。

私にとって、代替手段はメタ分析的アプローチであり、少なくとも定性的なアプローチです。すべての結果は、特に包含/除外基準、曝露/結果に使用される単位またはスケール、および効果のサイズと不確実性の間隔（95％CI ）。

また、独立した確認試験を実施する必要があります。多くの人々は一見重要な一見に左右されますが、複製がなければ、研究が倫理的に行われたとは信じられません。多くは、証拠の偽造から科学的なキャリアを作っています。

$p$$p$$p$

医学文献からの2つの参考文献は、（1）ラングマン、MJSがTowards推定と信頼区間 、Gardner MJとAltman、DG が{P}値ではなく信頼区間：仮説検定ではなく推定

私の選択は、p値の使用を継続することですが、単純に信頼性/信頼性のある間隔を追加し、場合によっては主要な結果の予測間隔を追加します。Douglas Altman（Statistics with Confidence、Wiley）による非常に素晴らしい本があります。ブーストラップとMCMCアプローチのおかげで、常に適度に堅牢な間隔を構築できます。

$p$

• 対象集団の結果をシミュレートできる、より洗練されたモデルを開発する
• 提案された決定、治療、またはポリシーを実装できる対象集団の属性を識別および測定する
• 生年、品質調整生年、ドル、作物生産量などの目標量の未加工単位での予想損失をシミュレーションにより推定し、その推定の不確実性を評価する。

どうしてもこれは通常の仮説の有意性検定を妨げるものではありませんが、統計的に有意な結果は実際の発見への道の非常に早い中間段階であり、研究者が彼らの発見により多くのことをすることを期待する必要があります。