タグ付けされた質問 「multiple-comparisons」

私たちは、そうでない場合は、偽発見率を制御するために、単一のデータセットに基づいて実験にBenjamini Hochbergのような複数の仮説検証のための修正を適用しなければならないことを知っているすべての肯定的な結果が得られた実験が偽である可能性があります。 しかし、データがどこから来たかに関係なく、この同じ原理を時間の初めからすべての実験に適用しないのはなぜですか？ 結局のところ、「重要」と見なされる公開された科学的結果の半分以上は、現在、偽りで再現不可能であることが知られており、これが100％になりにくい理由はありません。科学者はポジティブな結果のみを公開する傾向があるため、ネガティブな結果の数がわからないため、公開したものが偽陽性のみであるかどうかはわかりません。一方、複数の仮説検定修正の背後にある数学が同じデータセットからの結果にのみ適用されるべきであり、経時的に取得されたすべての実験データからの結果に適用されるべきではないということはありません。 科学全体が、誤った仮説や弱い仮説に基づいた1つの大きな漁業遠征になったようです。 これまでに実行されたすべての実験で複数の仮説検定の修正を適用せずに、独立した結果のみを公開した場合、どのように偽発見率を制御できますか？ このような修正を適用せずに、誤検出率を制御することは可能ですか？

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

私は多くのテストからp値を取得しており、複数のテストを修正した後に実際に重要なものがあるかどうかを知りたいと思っています。複雑さ：私のテストは独立していません。私が考えている方法（FisherのProduct Methodの変形、Zaykin et al。、Genet Epidemiol、2002年）では、p値間の相関が必要です。 この相関を推定するために、現在、ケースのブートストラップ、分析の実行、およびp値の結果ベクトルの相関について考えています。誰かがより良いアイデアを持っていますか？または、元の問題のより良いアイデア（相関テストでの複数のテストの修正）ですか？ 背景：遺伝子型（AA、Aaまたはaa）と共変量との相互作用により、被験者が特定の病気にかかっているかどうかをロジスティックに回帰しています。ただし、遺伝子型は実際には大量（30〜250）の一塩基多型（SNP）であり、これらは確かに独立ではなく、連鎖不平衡にあります。

24 correlation  multiple-comparisons  statistical-significance  genetics 

私は次の論文を読みました：Perneger（1998）ボンフェローニ調整の何が問題なのか。 著者は、Bonferroniの調整は、せいぜい生物医学研究での用途が限られているため、特定の仮説に関する証拠を評価する際には使用すべきではないと述べて要約しました。 要約ポイント： 研究データで実行されたテストの数の統計的有意性の調整—ボンフェローニ法—は、解決するよりも多くの問題を作成します ボンフェローニ法は、一般的な帰無仮説（すべての帰無仮説が同時に真であるという）に関係しています。 主な弱点は、発見の解釈が実行される他のテストの数に依存することです タイプIIエラーの可能性も増加するため、真に重要な違いは重要ではないとみなされます。 実行された有意性のテストとその理由を単に説明することが、一般的に多重比較を処理する最良の方法です。 次のデータセットがあり、複数のテスト修正を行いたいのですが、この場合の最良の方法を決定することはできません。 平均のリストを含むすべてのデータセットに対してこの種の修正を行うことが不可欠かどうか、この場合の修正の最良の方法は何か知りたいですか？

23 hypothesis-testing  multiple-comparisons  bonferroni 

JMPを使用して、コントロールを使用した3つの処理の前後に、成長形態グループ（樹木、低木、樹木など）の植生被覆の違いを調べています。サンプルサイズが小さく（n = 5）、ほとんどの分布は通常分布していません。 正規分布の場合、ANOVAを使用して治療結果の差（変化率）を分析し、Tukey HSDを使用して結果のペア間の差の有意性をテストしました。 非正規分布データの場合、Wilcoxon / Kruskal-Wallis検定を使用しました。これらの結果のペアの違いを調べるために使用できる、Tukey HSDのノンパラメトリックな同等物はありますか？

23 multiple-comparisons  nonparametric  tukey-hsd 

アンドリュー・ゲルマンは、ベイジアンAB検定が複数の仮説修正を必要としない理由に関する広範な記事を書いた：2012年、複数の比較を心配する必要がない理由（通常）。 よくわかりません。なぜベイジアンメソッドは複数のテスト修正を必要としないのですか？ A ~ Distribution1 + Common Distribution B ~ Distribution2 + Common Distribution C ~ Distribution3 + Common Distribution Common Distribution ~ Normal 私の理解では、上記のベイジアンのアプローチは、すべての仮説による共有された基礎となる分布を説明するものです（頻繁なボンフェローニ補正とは異なります）。私の推論は正しいですか？

22 hypothesis-testing  bayesian  multiple-comparisons 

同じ帰無仮説でNNN独立した統計検定を実行していますが、結果を1つのppp値に結合したいと思います。Fisherの方法とStoufferの方法の 2つの「受け入れられた」方法があるようです。 私の質問は、ストーファーの方法についてです。個別のテストごとに、zスコアz_iを取得しz私z私z_iます。帰無仮説では、それらはそれぞれ標準正規分布で分布するため、和ΣのZ私Σz私\Sigma z_iは分散Nの正規分布に従いますNNN。したがって、Stoufferの方法は、単位分散で正規分布する\ Sigma z_i / \ sqrt {N}を計算しΣのZ私/ N−−√Σz私/N\Sigma z_i / \sqrt{N}、これをジョイントzスコアとして使用することを提案しています。 これは理にかなっていますが、ここで私が思いついた別のアプローチがあり、これも理にかなっています。各z私z私z_iは標準正規分布に由来するため、平方和S= Σ Z2私S=Σz私2S=\Sigma z^2_iはNNN自由度のカイ2乗分布に由来する必要があります。したがって、N自由度の累積カイ2乗分布関数を使用してSSSを計算し、ppp値に変換できます（p = 1−X_N（S）、X_NはCDF）。NNNp = 1 − XN（S）p=1−バツN（S）p=1−X_N(S)バツNバツNX_N しかし、このアプローチが言及されていることすら見つけることができません。使用されたことがありますか？名前はありますか？ストーファーの方法と比較した場合の利点/欠点は何ですか？または、私の推論に欠陥がありますか？

22 hypothesis-testing  chi-squared  p-value  multiple-comparisons  combining-p-values 

2つのグループで実験（小さなサンプルサイズ（通常、処理グループごとのサンプルサイズは約7〜8））を実行するとき、t検定を使用して差をテストします。ただし、ANOVA（明らかに3つ以上のグループ）を実行するときは、ボンフェローニ（LSD /ペアワイズ比較の数）またはテューキーの線に沿って何かを使用します。フィッシャーの最小有意差（LSD）を使用します。 さて、LSDはペアワイズt検定に似ています（そうですか？）ので、それが考慮されていない唯一のことは、多重比較を行っていることです。ANOVA自体が重要な場合、たとえば6つのグループを扱うとき、それはどれほど重要ですか？ または言い換えれば、フィッシャーのLSDを使用する科学的/統計的な理由はありますか？

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

ボンフェローニ調整をいつ使用するかに関して、2つの質問があります。 複数のテストのすべてのケースでボンフェローニ調整を使用することは適切ですか？ データセットでテストを実行する場合、そのデータセットをより細かいレベルに分割し（例：性別によるデータの分割）、同じテストを実行しますが、これは知覚される個々のテストの数にどのように影響しますか？つまり、男性と女性の両方からのデータを含むデータセットでX個の仮説をテストし、データセットを分割して男性と女性のデータを別々に与え、同じ仮説をテストした場合、個々の仮説の数はXのままか、追加のテスト？ コメントしてくださってありがとうございます。

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

主成分分析（PCA）を実行した後、新しいベクトルをPCA空間に投影します（つまり、PCA座標系で座標を見つけます）。 を使用してR言語でPCAを計算しましたprcomp。これで、ベクトルにPCA回転行列を掛けることができるはずです。このマトリックスの主成分を行または列に配置する必要がありますか？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

15を超える個別の2x2カイ2乗検定を実行した論文をレビューしています。複数の比較を修正する必要があることを提案しましたが、すべての比較が計画されていると答えたため、これは必要ありません。 これは正しくないはずですが、そうであるかどうかを明示的に示すリソースは見つかりません。 誰でもこれを助けることができますか？ 更新： 非常に有益な回答をありがとう。@gungの研究と分析に関する詳細情報のリクエストに応えて、3つの期間にわたって、2つの条件で2種類の参加者（学生、非学生）のカウントデータを比較しています。複数の2x2カイ2乗検定は、各条件で、各タイプの参加者ごとに各期間を比較するため（たとえば、学生、条件1、期間1対期間2）、すべての分析が同じ仮説をテストします。 。

20 hypothesis-testing  multiple-comparisons 

多くの回帰モデル仕様（OLSなど）がデータセットの可能性と見なされると、これが多重比較の問題を引き起こし、p値と信頼区間はもはや信頼できないと聞きました。これの極端な例は、段階的回帰です。 モデルを指定するのにデータ自体を使用できるのはいつですか？また、これはいつ有効なアプローチではありませんか？モデルを形成するには、常に主題に基づいた理論が必要ですか？

20 regression  frequentist  multiple-comparisons 

被験者内テストのポストホックを実施するための好ましい方法は何ですか？テューキーのHSDが採用されている出版物を見たことがありますが、ケッペルとマクスウェルとデラニーのレビューは、これらの設計の球形性の違反がエラー用語を不正確にし、このアプローチに問題があることを示唆しています。Maxwell＆Delaneyは彼らの本の問題へのアプローチを提供しますが、どの統計パッケージでもそのようにそれを見たことがありません。彼らが提供するアプローチは適切ですか？複数のペアのサンプルt検定でのBonferroniまたはSidakの補正は妥当ですか？受け入れられる答えはezANOVA、ezパッケージ内の関数によって生成される単純、多方向、および混合設計で事後的に実行できる一般的なRコードと、レビューアーに合格する可能性が高い適切な引用を提供します。

20 r  repeated-measures  multiple-comparisons  post-hoc  sphericity 

David Colquhounによるこの素晴らしい論文を読んでいます：偽発見率とp値の誤解の調査（2014）。本質的に、彼はでタイプIのエラーを制御しているにもかかわらず、偽発見率（FDR）が達する理由を説明しています。30%30％30\%α = 0.05α=0.05\alpha=0.05 ただし、複数のテストの場合にFDR制御を適用するとどうなるかについて、まだ混乱しています。 たとえば、多くの変数のそれぞれについてテストを実行し、Benjamini-Hochberg手順を使用して値を計算しました。重要な変数を1つ取得しました。この発見のFDRとは何ですか？qqqq= 0.049q=0.049q=0.049 長期的に、このような分析を定期的に行うと、FDRはではなくであると安全に仮定できますか？Benjamini-Hochbergを使用したためです。それは間違っていると思いますが、値はColquhounの論文の値に対応しており、彼の推論もここに適用されるため、しきい値を使用すると、 Colquhounはそれをケースのに入れています。しかし、私はそれをより正式に説明しようとして失敗しました。5 ％30 ％30％30\%5 ％5％5\%qqqpppqqq0.050.050.0530 ％30％30\%

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Benjamini-Hochbergの多重テスト修正は、比較の総数に対してどれほど保守的ですか？たとえば、2つのグループの18,000個の機能のリストがあり、p値を取得するためにWilcoxonテストを実行した場合。Benjamini-Hochbergを使用してそのp値を調整しますが、ほとんど何も重要ではありません。 ボンフェローニ補正は、比較の回数が増えるにつれてかなり保守的になる可能性があることを知っています。Benjamini-Hochbergにも同じ特性がありますか？

19 multiple-comparisons  p-value 

これは、2003年のエドウィンジェインズによる確率理論：科学の論理で与えられた演習です。ここには部分的な解決策があります。私はより一般的な部分的な解決策を考え出しましたが、他の誰かがそれを解決したかどうか疑問に思っていました。答えを投稿する前に少し待って、他の人に試してもらいます。 さて、H iで示される相互排他的で網羅的なnnn仮説があると仮定します。Hi(i=1,…,n)Hi(i=1,…,n)H_i \;\;(i=1,\dots,n)。さらに、 D jで示されるmmmデータセットがあるとしますDj(j=1,…,m)Dj(j=1,…,m)D_j \;\;(j=1,\dots,m)。i番目の仮説の尤度比は次の式で与えられます。 LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯¯¯¯¯i)LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯i)LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})} これらは条件付き確率であることに注意してください。i番目の仮説が与えられた場合HiHiH_{i}、mmmデータセットが独立していると仮定します。 P(D1D2…,Dm|Hi)=∏j=1mP(Dj|Hi)(i=1,…,n)Condition 1P(D1D2…,Dm|Hi)=∏j=1mP(Dj|Hi)(i=1,…,n)Condition 1P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1} ここで、分母もこの状況を考慮に入れれば非常に便利になります。 P(D1D2…,Dm|H¯¯¯¯¯i)=∏j=1mP(Dj|H¯¯¯¯¯i)(i=1,…,n)Condition 2P(D1D2…,Dm|H¯i)=∏j=1mP(Dj|H¯i)(i=1,…,n)Condition 2P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2} この場合、尤度比は各データセットのより小さい係数の積に分割されるため、次のようになります。 LR(Hi)=∏j=1mP(Dj|Hi)P(Dj|H¯¯¯¯¯i)LR(Hi)=∏j=1mP(Dj|Hi)P(Dj|H¯i)LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})} したがって、この場合、各データセットのだろう「のための投票HiHiH_i」または「反対票HiHiH_i」独立して、他のデータセットの。 演習では、n>2n>2n>2（2つ以上の仮説）の場合、この因数分解が発生するような非自明な方法がないことを証明します。つまり、条件1と条件2が成立すると仮定すると、最大で1つの要因 1と異なっているので、1つだけのデータセットは、尤度比に寄与する。P(D1|Hi)P(D1|H¯¯¯¯¯i)P(D2|Hi)P(D2|H¯¯¯¯¯i)…P(Dm|Hi)P(Dm|H¯¯¯¯¯i)P(D1|Hi)P(D1|H¯i)P(D2|Hi)P(D2|H¯i)…P(Dm|Hi)P(Dm|H¯i)\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})} 個人的には、この結果は非常に魅力的でした。なぜなら、複数の仮説検定は一連のバイナリ仮説検定に他ならないことを基本的に示しているからです。

19 independence  likelihood-ratio  hypothesis-testing  multiple-comparisons