タグ付けされた質問 「false-discovery-rate」

BenjaminiとHochbergは、False Discovery Rate（FDR）を制御するための最初の（そして今でも最も広く使用されていると思う）メソッドを開発しました。 それぞれ異なる比較のためのP値の束から始め、どの値が「ディスカバリー」と呼ばれるほど低いかを判断し、FDRを指定された値（たとえば10％）に制御します。通常の方法の仮定の1つは、比較のセットが独立しているか「正の依存関係」を持っていることですが、P値のセットを分析する文脈でそのフレーズが何を意味するか正確にはわかりません。

36 multiple-comparisons  non-independent  false-discovery-rate 

私の統計プログラムは、Benjamini＆Hochberg（1995）とBenjamini＆Yekutieli（2001）の偽発見率（FDR）手順の両方を実装しています。私は後の論文を読むために最善を尽くしましたが、それは数学的にかなり濃厚であり、手順の違いを理解していると確信できません。統計プログラムの基礎となるコードから、それらは実際に異なり、後者にはFDRに関して言及した量qが含まれていますが、把握していません。 Benjamini＆Yekutieli（2001）手順よりもBenjamini＆Hochberg（1995）手順を好む理由はありますか？それらには異なる仮定がありますか？これらのアプローチの実際の違いは何ですか？ ベンジャミニ、Y。、およびホッホバーグ、Y。（1995）。誤検出率の制御：複数のテストに対する実用的で強力なアプローチ。Journal of the Royal Statistical SocietyシリーズB、57、289–300。 Benjamini、Y。、およびYekutieli、D。（2001）。依存関係にある複数のテストでの誤検出率の制御。統計年報29、1165–1188。 以下のコメントで参照されている1999年の論文：Yekutieli、D.＆Benjamini、Y.（1999）。相関テスト統計の複数のテスト手順を制御するリサンプリングベースの誤検出率。Journal of Statistical Planning and Inference、82（1）、171-196。

34 post-hoc  false-discovery-rate 

私は、False Discovery Rate（FDR）が個々の研究者の結論をどのように知らせるべきかについて頭をかき回そうとしています。たとえば、研究の能力が不足している場合、有意であったとしても結果を割り引く必要がありますか？注：複数のテスト修正の方法としてではなく、複数の研究の結果を総合的に検討するという文脈でFDRについて話している。α = .05α=.05\alpha = .05 （多分寛大な）の仮定を作るテストの仮説が実際に真であるが、FDRは、タイプIの両方の関数であり、次のようにIIエラー率を入力します。〜0.5∼.5\sim.5 FDR = αα + 1 - β。FDR=αα+1−β.\text{FDR} = \frac{\alpha}{\alpha+1-\beta}. ある研究が十分な能力を持たない場合、十分な能力のある研究の結果と同様に、結果が有意であっても、結果を信頼すべきではないことは理にかなっています。したがって、一部の統計学者が言うように、「長期的に」、従来のガイドラインに従えば、誤った多くの重要な結果を公開する可能性がある状況があります。研究の一貫性が一貫して不十分な研究によって特徴づけられている場合（例えば、過去10年間の候補遺伝子環境相互作用の文献）、複製された重要な発見でさえ疑われる可能性があります。××\times Rパッケージを適用するとextrafont、ggplot2とxkcd、私はこれが有効として概念かもしれないと思うの視点の問題： この情報を与えられた場合、個々の研究者は次に何をすべきでしょうか？私が勉強している効果の大きさを推測している場合（したがって、サンプルサイズを考慮して推定値）、FDR = .05までαレベルを調整する必要がありますか？私の研究が十分ではなく、FDRの考慮を文献の消費者に委ねる場合でも、α = .05レベルで結果を公開する必要がありますか？1 - β1−β1 - \betaαα\alphaα = .05α=.05\alpha = .05 これは、このサイトと統計文献の両方で頻繁に議論されているトピックであることは知っていますが、この問題に関する意見の一致を見つけることができないようです。 編集： @amoebaのコメントに応じて、FDRは標準のタイプI /タイプIIエラー率分割表から導出できます（そのさをご容赦ください）。 | |Finding is significant |Finding is insignificant | |:---------------------------|:----------------------|:------------------------| |Finding is false in reality …

30 statistical-significance  p-value  publication-bias  false-discovery-rate 

私たちは、そうでない場合は、偽発見率を制御するために、単一のデータセットに基づいて実験にBenjamini Hochbergのような複数の仮説検証のための修正を適用しなければならないことを知っているすべての肯定的な結果が得られた実験が偽である可能性があります。 しかし、データがどこから来たかに関係なく、この同じ原理を時間の初めからすべての実験に適用しないのはなぜですか？ 結局のところ、「重要」と見なされる公開された科学的結果の半分以上は、現在、偽りで再現不可能であることが知られており、これが100％になりにくい理由はありません。科学者はポジティブな結果のみを公開する傾向があるため、ネガティブな結果の数がわからないため、公開したものが偽陽性のみであるかどうかはわかりません。一方、複数の仮説検定修正の背後にある数学が同じデータセットからの結果にのみ適用されるべきであり、経時的に取得されたすべての実験データからの結果に適用されるべきではないということはありません。 科学全体が、誤った仮説や弱い仮説に基づいた1つの大きな漁業遠征になったようです。 これまでに実行されたすべての実験で複数の仮説検定の修正を適用せずに、独立した結果のみを公開した場合、どのように偽発見率を制御できますか？ このような修正を適用せずに、誤検出率を制御することは可能ですか？

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

この質問はこことここで以前に尋ねられましたが、答えが質問に直接対処するとは思いません。 能力不足の研究では、誤検知の可能性が増加していますか？いくつかのニュース記事がこの主張をしています。以下の場合の例： 低い統計的検出力は悪いニュースです。能力不足の研究は、本物の効果を見逃す可能性が高く、グループとしては、偽陽性の割合が高い可能性が高くなります。つまり、現実ではなくても統計的有意性に達する効果です。 私が理解しているように、テストの力は次のように高めることができます。 サンプルサイズを増やす エフェクトサイズが大きい 有意水準を上げる 有意水準を変更したくないと仮定すると、上記の引用はサンプルサイズの変更に言及していると思います。ただし、サンプルを減らすことで誤検出の数がどのように増えるかはわかりません。簡単に言えば、研究の力を弱めると、質問に答える偽陰性の可能性が高まります。 P（Hを拒否できない 0| H0 偽です）P（拒否しない H0|H0 間違っている）P(\text{failure to reject }H_{0}|H_{0}\text{ is false}) それどころか、誤検知は質問に応答します。 P（ Hを拒否 0|H0 本当です）P（拒絶する H0|H0 本当です）P(\text{reject }H_{0}|H_{0}\text{ is true}) 条件が異なるため、両方とも異なる質問です。パワーは、（逆に）偽陰性に関連していますが、偽陽性には関連していません。何か不足していますか？

23 hypothesis-testing  power  false-discovery-rate 

次の引用は、Story＆Tibshirani（2003）による有名な研究論文「ゲノム全体の研究の統計的有意性」から引用されています。 たとえば、偽陽性率が5％の場合、研究の真にヌルの特徴の平均5％が有意と呼ばれます。5％のFDR（False Discovery rate）は、重要と呼ばれるすべての機能の中で、これらの5％が平均して本当にヌルであることを意味します。 簡単な数値または視覚的な例を使用して、それが意味することを誰かが説明できますか？私はそれが何を意味するのか理解するのに苦労しています。FDRまたはFPRのみに関するさまざまな投稿を見つけましたが、特定の比較が行われた場所は見つかりませんでした。 この分野の専門家が、一方が他方より優れている、または両方が良いか悪いかの状況を説明できれば、特に良いでしょう。

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

David Colquhounによるこの素晴らしい論文を読んでいます：偽発見率とp値の誤解の調査（2014）。本質的に、彼はでタイプIのエラーを制御しているにもかかわらず、偽発見率（FDR）が達する理由を説明しています。30%30％30\%α = 0.05α=0.05\alpha=0.05 ただし、複数のテストの場合にFDR制御を適用するとどうなるかについて、まだ混乱しています。 たとえば、多くの変数のそれぞれについてテストを実行し、Benjamini-Hochberg手順を使用して値を計算しました。重要な変数を1つ取得しました。この発見のFDRとは何ですか？qqqq= 0.049q=0.049q=0.049 長期的に、このような分析を定期的に行うと、FDRはではなくであると安全に仮定できますか？Benjamini-Hochbergを使用したためです。それは間違っていると思いますが、値はColquhounの論文の値に対応しており、彼の推論もここに適用されるため、しきい値を使用すると、 Colquhounはそれをケースのに入れています。しかし、私はそれをより正式に説明しようとして失敗しました。5 ％30 ％30％30\%5 ％5％5\%qqqpppqqq0.050.050.0530 ％30％30\%

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

家族ごとのエラー率（FWER）と誤発見率（FDR）の両方の文献で、FWERまたはFDRを制御する特定の方法は、依存テストまたは独立テストに適していると言われています。たとえば、1979年の論文「A Simple Sequentially Rejective Multiple Test Procedure」では、ホルムはステップアップシダック法とステップアップボンフェローニ制御法を対比するために次のように書いています。 テスト統計が独立している場合、同じ計算上の単純さが得られます。 BenjaminiとHochbergによる「偽発見率の制御」（1995）で、著者は次のように書いています。 定理1のための独立した検定統計量及び偽ヌル仮説の任意の構成のために、上記の手順コントロールFDRにおいて。q∗q∗q^{*} その後、2001年に、ベンジャミニとイェクティエリは次のように書いています。 1.3。問題。実際にはFDRのアプローチを使用しようとすると、依存テスト統計はより頻繁に遭遇している独立したもの、その好例であること上記の複数のエンドポイントの例。 これらの著者は、扶養家族のどの特定の意味を使用していますか？テストが明確な言語の説明を伴う場合、テストを相互に依存または独立させるものの正式な定義に満足しています。 考えられるいくつかの異なる意味を考えることができますが、もしあれば、それらは次のようになるかもしれません： 「従属」とは、多変量検定（つまり、同じまたは類似の予測子を持つ多くの従属変数）を意味します。独立とは、単変量テスト（つまり、多くの独立変数、1つの従属変数）を意味します。 「依存」とは、ペアになった/一致した被験者に基づくテスト（ペアになったt検定、反復測定ANOVAなど）を意味します。「独立」とは、対応のない/独立したサンプル研究デザインを意味します。 「依存」とは、テストが拒否される確率が別のテストが拒否される確率と相関することを意味し、「正の依存」とは、この相関が正であることを意味します。「独立」とは、拒否確率が無相関であることを意味します。 参照 Benjamini、Y。およびHochberg、Y。（1995）。誤検出率の制御：複数のテストに対する実用的かつ強力なアプローチ。王立統計学会誌。シリーズB（方法論）、57（1）：289–300。 Benjamini、Y。およびYekutieli、D。（2001）。依存関係にある複数のテストでの偽発見率の制御。統計学年報、29（4）：1165–1188。 ホルム、S。（1979）。単純な連続的に拒絶する複数のテスト手順。Scandinavian Journal of Statistics、6（65-70）：1979。

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

Wikipediaのように、FDRの制御はFWERの制御よりも厳しくないことを読みました。 FDR制御手順は、Familywise Error Rate（FWER）手順（Bonferroni修正など）と比較して、誤った発見に対する厳格な制御を行いません。これにより、タイプIのエラー率が増加しますが、パワーが増加します。つまり、効果があるという帰無仮説を受け入れるべきときに拒否します。 しかし、数学的にどのように真実であることが示されているのだろうか？ FDRとFWERの間に何らかの関係がありますか？

16 hypothesis-testing  multiple-comparisons  false-discovery-rate 

順列テスト（ランダム化テスト、再ランダム化テスト、または正確なテストとも呼ばれます）は非常に便利で、たとえば、必要な正規分布の仮定がt-test満たされていない場合や、ランク付けによる値の変換時に役立ちますノンパラメトリックテストのようにMann-Whitney-U-test、より多くの情報が失われます。ただし、この種の検定を使用する場合、帰無仮説の下でのサンプルの交換可能性の仮定は1つだけの仮定を見落とすべきではありません。coinRパッケージで実装されているようなサンプルが3つ以上ある場合にも、この種のアプローチを適用できることも注目に値します。 この仮定を説明するために、平易な英語で比fig的な言葉や概念的な直観を使ってください。これは、私のような非統計学者の間で見過ごされているこの問題を明確にするのに非常に役立つでしょう。 注： 置換テストの適用が同じ仮定の下で保持または無効にならない場合に言及することは非常に役立ちます。 更新： 私の地区の地元の診療所から無作為に50人の被験者を収集したとします。彼らは、1：1の比率で薬またはプラセボを無作為に割り当てられました。それらはすべてPar1、V1（ベースライン）、V2（3か月後）、およびV3（1年後）のパラメーター1について測定されました。50個の被験者はすべて、機能Aに基づいて2つのグループにサブグループ化できます。Aポジティブ= 20およびAネガティブ=30。これらは、機能Bに基づいて別の2つのグループにサブグループ化することもできます。Bポジティブ= 15およびBネガティブ=35 。今、私はPar1すべての訪問ですべての被験者からの値を持っています。交換可能性の仮定の下で、次のPar1場合に順列検定を使用するレベルを比較でき ますか？-薬物と被験者をV2でプラセボを投与した被験者と比較する ますか？-機能Aの対象とV2の機能Bの対象を比較しますか？ -V2で機能Aを持つ対象とV3で機能Aを持つ対象を比較しますか？ -この比較はどのような状況で無効であり、交換可能性の仮定に違反しますか？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

Benjamini and Hochberg（1995）の手順が実際に偽発見率（FDR）を制御する理由を説明する簡単な方法はありますか？この手順は非常にエレガントでコンパクトですが、独立性の下で機能する理由の証明です（1995年の論文の付録に記載されていますいます）はあまりアクセスできません。

14 intuition  false-discovery-rate  teaching 

手順とそれが制御するものを理解しています。それでは、多重比較のためのBH手順の調整されたp値の式は何ですか？ たった今、オリジナルのBHが調整されたp値を生成せず、（非）拒否条件のみを調整したことに気付きました：https : //www.jstor.org/stable/2346101。Gordon Smythは、とにかく2002年に調整されたBH p値を導入したので、問題は依然として当てはまります。p.adjustmethodと同様にRで実装されていBHます。

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

誰かがFDR手順で、真の陽性率のベースレートのモデル/仮定なしにFDRを推定する方法を説明できますか？

9 false-discovery-rate 

約50の異なる変数に関して3つの母集団間の有意差をテストするデータセットがあります。これは、一方でKruskal-Wallis検定を使用し、もう一方では、入れ子のGLMモデルフィット（独立変数としての人口の有無にかかわらず）の尤度比検定によって行います。 その結果、一方ではクラスカル・ウォリスの値のリストがあり、もう一方ではLRT比較からのカイ2乗のp値だと思います。pppppp > 50の異なるテストがあるため、いくつかの形式の複数のテスト修正を行う必要があります。Benjamini-HochbergFDRが最も賢明な選択のようです。 ただし、変数はおそらく独立しておらず、それらのいくつかの「氏族」が相関しています。問題はそれです：私の値の基礎となる統計のセットが、Benjamini-HochbergプロシージャがFDRに引き続きバインドされるために必要な正の依存性の要件を満たしているかどうかはどうすればわかりますか？ppp 2001年のBenjamini-Hochberg-Yekutieli論文では、PRDS条件は多変量正規分布とスチューデント化分布に当てはまると述べています。モデル比較のための尤度比検定のカイ二乗値はどうですか？クラスカル・ウォリス検定の値はどうなりますか？ppp 依存関係に何も仮定しないBenjamini-Hochberg-Yekutieliの最悪の場合のFDR補正を使用できますが、この場合は保守的すぎるため、いくつかの関連する信号を見落とす可能性があります。

9 chi-squared  multiple-comparisons  likelihood-ratio  kruskal-wallis  false-discovery-rate 

サイズは 3次元テーブルを持っています。表の各セルは仮説検定です。テーブルを3次元でスライスすると、81セットの仮説検定が生成されます。これは、セット間で独立していますが、セット内で依存しています。もともと私は、すべての仮説テストで同時にBenjamini-Hochberg手順を使用して、誤った発見率を制御できると考えていました。それはこの問題を攻撃するための合理的な方法ですか？私の2番目の考えは、テーブルの3番目の次元に沿った各スライス内の誤検出率を制御し、その後、他の種類の修正を適用することです。誰かがこの種の手順についてもっと情報を持っていますか？6×6×816×6×816\times6\times81818181

9 multiple-comparisons  false-discovery-rate