BenjaminiとHochbergは、誤検出である陽性検査の割合として、私と同じ方法で誤検出率を定義しています。したがって、複数の比較に手順を使用すると、FDRを適切に制御できます。ただし、BHメソッドには非常に多くのバリエーションがあることに注意してください。BerkeleyでのBenjaminiのセミナーはYoutubeで行われています。
@amoebaが「これはあまりにも強く処方されており、実際に誤解を招く可能性がある」と言っている理由がわかりません。私は彼/彼女がそれを考える理由を知りたいと思う。最も説得力のある議論は、シミュレートされたt検定から得られます（セクション6）。これは、ほとんどすべての人が実際に行っていることを模倣しており、Pが0.047に近いことを発見し、発見したと主張する場合、少なくとも26％の間違いがあることを示しています。何がうまくいかないのでしょうか？
もちろん、これを最小限のものとして説明するべきではありません。50％の確率で本当の効果があると仮定した場合に得られるものです。もちろん、仮説の大部分が前もって正しいと仮定すると、FDRは26％より低くなりますが、仮定に基づいて発見したという主張を歓迎する快楽を想像できますか結論が真実であることを事前に90％確信していたこと。26％は、0.5を超える事前確率を仮定する推論の合理的な根拠ではないため、最小FDRです。
テスト時にハンチが頻繁に立ち上がらないことを考えると、特定の仮説が真実である可能性は10％だけである可能性が高く、その場合、FDRは悲惨な76％になります。
これはすべて、差がゼロであるという帰無仮説（いわゆる点ヌル）を条件としているのは事実です。他の選択肢は異なる結果をもたらす可能性があります。しかし、nullというポイントは、ほとんどすべての人が実際の生活で使用するものです（ただし、気づかないかもしれません）。さらに、ポイントnullは、使用するのに完全に適切なものであるように思えます。真の違いが決して正確にゼロになることはないということに反対することがあります。同意しません。結果が、両方のグループに同じ処理が与えられている場合と区別できないかどうかを確認したいので、真の差は正確にゼロです。outデータがそのビューと互換性がないと判断した場合、エフェクトサイズを推定します。そしてその時点で、実際には効果が実際に重要であるほど十分に大きいかどうかについて個別に判断します。デボラメイヨーのブログ。
@amoebaお返事ありがとうございます。
Mayoのブログでの議論のほとんどは、Mayoが私に同意しないということです。スティーブンセンは、異なる事前分布を仮定すると、異なる答えを得ることができると正しく指摘しています。それは主観的なベイジアンだけに興味があるように思えます。
それは確かに常にヌル点を前提とする日常の慣行とは無関係です。そして、私が説明したように、それは私にとって完全に賢明なことであるように思えます。
多くの専門家統計学者は私のものとほぼ同じ結論に達しました。Sellke＆Berger、およびValen Johnsonを試してください（私の論文の参照）。私の主張について非常に物議を醸す（または非常に独創的な）ものはありません。
0.5を事前に仮定するという他の点は、私にはまったく仮定ではないようです。上で説明したように、0.5ウールを超えるものは実際には受け入れられません。また、0.5未満の場合は、誤検出率がさらに高くなります（たとえば、priorが0.1の場合は76％）。したがって、26％が1回の実験でP = 0.047を観測した場合に期待できる最小の誤検出率であると言うのは完全に合理的です。
私はこの質問についてもっと考えてきました。私のFDRの定義は、ベンジャミニの-偽の陽性テストの割合と同じです。しかし、それはまったく異なる問題、つまり単一のテストの解釈に適用されます。後知恵で、別の用語を選んだ方がよかったかもしれません。
単一のテストの場合、B＆HはP値を変更しないため、この用語を使用するという意味での誤検出率については何も言いません。
esもちろんあなたは正しい。Benjamini＆Hochberg、および複数の比較に取り組んでいる他の人々は、タイプ1のエラー率の修正のみを目指しています。したがって、それらは「正しい」P値になります。他のP値と同じ問題の影響を受けます。私の最新の論文では、この誤解を避けるために、名前をFDRからFalse Positive Risk（FPR）に変更しました。
また、計算の一部を実行するWebアプリを作成しました（提供するRスクリプトをダウンロードする人はほとんどいないことに気付きました）。https://davidcolquhoun.shinyapps.io/3-calcs-final/にあります。それに関するすべての意見を歓迎します（最初に[注]タブをお読みください）。
PS Web計算機には、http：
//fpr-calc.ucl.ac.uk/ に新しい（恒久的、私は願っています）があります。
トピックに関する私の2番目の論文がRoyal Society Open Scienceに掲載されようとしているので、私はこの議論に戻りました。それはであるhttps://www.biorxiv.org/content/early/2017/08/07/144337
最初の論文で犯した最大の間違いは、「偽発見率（FDR）」という用語を使用することでした。新しい論文では、多重比較の問題について何も言っていないことをより明確にします。単一の不偏テストで観察されたP値をどのように解釈するかという問題のみを扱います。
最新バージョンでは、混乱を減らすことを期待して、結果がFDRではなく、偽陽性リスク（FPR）である確率について言及しています。また、逆ベイジアンアプローチも推奨します。たとえば、5％のFPRを確保するために必要な事前確率を指定します。P = 0.05を観測すると、0.87になります。言い換えると、実験を行う前に5％のFPRを達成するために実際の効果があったことをほぼ（87％）確認する必要があります（これは、ほとんどの人がまだ信じている、誤って、p = 0.05を意味します）。