タグ付けされた質問 「bonferroni」

私は2009年に統計学者と話し合い、p値の正確な値は無関係であると述べました。重要なことはそれが有意であるかどうかだけです。つまり、ある結果が別の結果よりも重要になることはありません。たとえば、サンプルは同じ母集団からのものであるかそうでないかです。 私はこれにいくつかの不安を持っていますが、おそらくイデオロギーを理解できます 5％のしきい値は任意です。つまり、p = 0.051は重要ではなく、p = 0.049は、一方の結果が重要でもう一方が重要ではないにもかかわらず、観測または実験の結論を実際に変更すべきではありません。 私が今これを取り上げる理由は、私がバイオインフォマティクスの修士課程を勉強していることであり、現場の人々と話した後、彼らが行うすべての統計の正確なp値を取得する決意があるようです。たとえば、p <1.9×10 -12の p値を「達成」する場合、結果がどの程度重要であり、この結果が非常に有益であることを示したいと考えています。この問題は、次のような質問で例示されています。なぜ2.2e-16より小さいp値を取得できないのですか？、偶然にもこれは1兆分の1未満であるということを示す値を記録したいと考えています。しかし、この結果は10億分の1ではなく1兆分の1未満であるということを示すことにはほとんど違いがありません。 p <0.01は、これが発生する可能性が1％未満であることを示し、p <0.001は、このような結果が前述のp値よりもさらに低いことを示しますが、結論を完全に引き出す必要があることを理解できます違う？結局、それらは両方とも有意なp値です。正確なp値を記録したいと考える唯一の方法は、ボンフェローニ補正を行うことです。これにより、比較の回数によってしきい値が変化し、タイプIエラーが減少します。しかし、それでも、しきい値の有意性より12桁小さいp値を表示したいのはなぜですか？ また、Bonferroni補正自体を少しarbitrary意的に適用していませんか？最初は修正が非常に保守的であると見なされているため、オブザーバーが多重比較に使用できる有意水準にアクセスするために選択できる他の修正があります。しかし、このため、研究者が使用したい統計に応じて、何かが重要になるポイントは本質的に可変ではありません。統計は解釈に対してそれほど開かれているべきですか？ 結論として、統計は主観的ではないはずではありませんが（主観的である必要性は多変量システムの結果であると思いますが）、最終的には明確化が必要です。そして、正確なp値を記録しようとすることに関して、p <0.001で十分ですか？

31 statistical-significance  p-value  bonferroni 

私たちは、そうでない場合は、偽発見率を制御するために、単一のデータセットに基づいて実験にBenjamini Hochbergのような複数の仮説検証のための修正を適用しなければならないことを知っているすべての肯定的な結果が得られた実験が偽である可能性があります。 しかし、データがどこから来たかに関係なく、この同じ原理を時間の初めからすべての実験に適用しないのはなぜですか？ 結局のところ、「重要」と見なされる公開された科学的結果の半分以上は、現在、偽りで再現不可能であることが知られており、これが100％になりにくい理由はありません。科学者はポジティブな結果のみを公開する傾向があるため、ネガティブな結果の数がわからないため、公開したものが偽陽性のみであるかどうかはわかりません。一方、複数の仮説検定修正の背後にある数学が同じデータセットからの結果にのみ適用されるべきであり、経時的に取得されたすべての実験データからの結果に適用されるべきではないということはありません。 科学全体が、誤った仮説や弱い仮説に基づいた1つの大きな漁業遠征になったようです。 これまでに実行されたすべての実験で複数の仮説検定の修正を適用せずに、独立した結果のみを公開した場合、どのように偽発見率を制御できますか？ このような修正を適用せずに、誤検出率を制御することは可能ですか？

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

私は次の論文を読みました：Perneger（1998）ボンフェローニ調整の何が問題なのか。 著者は、Bonferroniの調整は、せいぜい生物医学研究での用途が限られているため、特定の仮説に関する証拠を評価する際には使用すべきではないと述べて要約しました。 要約ポイント： 研究データで実行されたテストの数の統計的有意性の調整—ボンフェローニ法—は、解決するよりも多くの問題を作成します ボンフェローニ法は、一般的な帰無仮説（すべての帰無仮説が同時に真であるという）に関係しています。 主な弱点は、発見の解釈が実行される他のテストの数に依存することです タイプIIエラーの可能性も増加するため、真に重要な違いは重要ではないとみなされます。 実行された有意性のテストとその理由を単に説明することが、一般的に多重比較を処理する最良の方法です。 次のデータセットがあり、複数のテスト修正を行いたいのですが、この場合の最良の方法を決定することはできません。 平均のリストを含むすべてのデータセットに対してこの種の修正を行うことが不可欠かどうか、この場合の修正の最良の方法は何か知りたいですか？

23 hypothesis-testing  multiple-comparisons  bonferroni 

2つのグループで実験（小さなサンプルサイズ（通常、処理グループごとのサンプルサイズは約7〜8））を実行するとき、t検定を使用して差をテストします。ただし、ANOVA（明らかに3つ以上のグループ）を実行するときは、ボンフェローニ（LSD /ペアワイズ比較の数）またはテューキーの線に沿って何かを使用します。フィッシャーの最小有意差（LSD）を使用します。 さて、LSDはペアワイズt検定に似ています（そうですか？）ので、それが考慮されていない唯一のことは、多重比較を行っていることです。ANOVA自体が重要な場合、たとえば6つのグループを扱うとき、それはどれほど重要ですか？ または言い換えれば、フィッシャーのLSDを使用する科学的/統計的な理由はありますか？

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

ボンフェローニ調整をいつ使用するかに関して、2つの質問があります。 複数のテストのすべてのケースでボンフェローニ調整を使用することは適切ですか？ データセットでテストを実行する場合、そのデータセットをより細かいレベルに分割し（例：性別によるデータの分割）、同じテストを実行しますが、これは知覚される個々のテストの数にどのように影響しますか？つまり、男性と女性の両方からのデータを含むデータセットでX個の仮説をテストし、データセットを分割して男性と女性のデータを別々に与え、同じ仮説をテストした場合、個々の仮説の数はXのままか、追加のテスト？ コメントしてくださってありがとうございます。

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

重回帰式に入力できる独立変数の数の制限は何ですか？結果変数への相対的な貢献の観点から検討したい10の予測変数があります。ボンフェローニ補正を使用して、複数の分析を調整する必要がありますか？

19 regression  predictor  importance  bonferroni 

SPSS（第3版）を使用したフィールドの統計情報の読み取りANOVAでの事後検定について少し感銘を受けました。タイプIエラー率を制御したい人のために、彼はBonferroniまたはTukeyを提案し、述べています（p。374）。 ボンフェローニは、比較の数が少ない場合により多くの力を持ちますが、テューキーは多数の平均をテストする場合により強力です。 少数の手段と多数の手段の間にどこに線を引きますか？

18 anova  multiple-comparisons  post-hoc  bonferroni  tukey-hsd 

私はSPSSの一般化線形モデルを使用して、16種類の植物の毛​​虫の平均数の違い（非正規、Tweedie分布を使用）を調べています。 複数の比較を実行したいのですが、SidakまたはBonferroniの補正テストを使用すべきかどうかわかりません。2つのテストの違いは何ですか？一方が他方より優れていますか？

12 multiple-comparisons  post-hoc  bonferroni 

関連する質問が私の答えにならなかったと思います。2つ以上の分類子（機械学習）のパフォーマンスを評価します。Null仮説は、パフォーマンスは変わらないというものです。この仮説を評価するために、パラメトリック（ANOVA）テストとノンパラメトリック（Friedman）テストを実行します。それらが重要である場合、ポストホッククエストでどの分類子が異なるかを調べたいと思います。 私の質問は2つあります。 1）多重比較テスト後のp値の修正は必要ですか？「Alphafehler Kumulierung」のドイツ語版ウィキペディアサイトでは、同じデータに対して複数の仮説がテストされた場合にのみ問題が発生すると述べています。分類子（1,2）、（1,3）、（2,3）を比較すると、データは部分的にのみオーバーラップします。それでもp値を修正する必要がありますか？ 2）P値補正は、t検定によるペアワイズ検定の後に使用されることがよくあります。Nemenyi（ノンパラメトリック）やTukeyのHSDテストなどの特殊な事後テストを行う場合にも必要ですか？この回答は、TukeyのHSDに「いいえ」と答えています。TukeyHSDテストは、複数の比較に対して正しいですか？。ルールはありますか、またはすべての潜在的な事後テストについてこれを調べる必要がありますか？ ありがとう！

11 multiple-comparisons  bonferroni  tukey-hsd 

私は多重比較の問題の新人です。Holm-Bonferroni法の信頼区間を計算する方法を知りたいのですが。 私はボンフェローニ法に私達はちょうどからの信頼レベルを変更することができることを知っているする1 - αを1−α1−α1-\alpha。1−αm1−αm1-\frac{\alpha}{m} この方法はHolm-Bonferroniでも機能しますか？ HBメソッドは設定を修正する手順を提供していないようです。間隔。しかし、p値の補正に1つの方法を使用し、間隔の補正に別の方法を使用できるかどうかについてコメントしていただけますか？Edit:Edit:\bf{Edit}:

10 multiple-comparisons  bonferroni 

ボンフェローニ修正よりもホッホベルグ法などのより強力な方法を使用しない理由がわかります。この場合、仮説の独立性などの追加の仮定があるためですが、なぜそうするのかわかりません後者はより強力であり、Bonferroniよりも多くの仮定を持たないため、Holmの逐次拒否的修正に対してBonferroni修正を使用してください。私は何かを見逃しましたか？

10 hypothesis-testing  bonferroni 

私はspdepパッケージを使用して、Rでいくつかの探索的空間分析を行っています。 関数を使用して計算された空間的関連のローカルインジケーター（LISA）のp値を調整するオプションを見つけましたlocalmoran。ドキュメントによると、それは目的としている： ...複数のテストの確率値調整。 さらにp.adjustSP私が読んだドキュメントでは、利用可能なオプションは次のとおりです： 調整方法には、p値に比較回数を掛けるBonferroni補正（ '"bonferroni"'）が含まれます。Holm（1979）（ '"holm"'）、Hochberg（1988）（ '"hochberg"'）、Hommel（1988）（ '"hommel"'）およびBenjamini＆Hochberg（1995）には、保守性の低い4つの修正も含まれています。 （ '"fdr"'）、それぞれ。パススルーオプション（ '"none"'）も含まれています。 最初の4つの方法は、家族ごとのエラー率を強力に制御できるように設計されています。変更されていないBonferroni補正を使用する理由はないようです。これは、Hormの方法が支配的であるため、任意の仮定の下でも有効です。 Hochberg法とHommel法は、仮説検定が独立している場合、またはそれらが非負に関連している場合に有効です（Sarkar、1998; SarkarおよびChang、1997）。Hommelの方法はHochbergの方法よりも強力ですが、通常、差は小さく、Hochbergのp値の計算は高速です。 Benjamini、Hochberg、およびYekutieliの "BH"（別名 "fdr"）および "BY"メソッドは、偽の発見率を制御します。これは、棄却された仮説の中で予想される偽の発見の割合です。誤検出率は、ファミリごとのエラー率よりも厳格ではないため、これらの方法は他の方法よりも強力です。 現れたいくつかの質問： 簡単に言えば、この調整の目的は何ですか？ そのような修正を使用する必要がありますか？ はいの場合-利用可能なオプションから選択する方法は？

10 r  multiple-comparisons  bonferroni 

心理学の研究では、単一のデータセットでいくつかの仮説をテストする場合、ボンフェローニ法を使用して有意水準を調整する必要があることを学びました。 現在、分類のためにサポートベクターマシンやランダムフォレストなどの機械学習手法を使用しています。ここに、最高の精度をもたらす最良のパラメーター（SVMのカーネルパラメーターなど）を見つけるために交差検証で使用される単一のデータセットがあります。 私の直感は、それが同様の問題であると言っています（そしておそらく完全にオフになっています）。考えられるパラメーターの組み合わせの数が多すぎると、素晴らしい結果が得られる可能性が高くなります。しかし、これは単なる偶然かもしれません。 私の質問を要約すると： 機械学習では、分類器の適切なパラメーターを見つけるために交差検証を使用します。使用するパラメーターの組み合わせが多いほど、偶然に大きな組み合わせを見つける可能性が高くなります（オーバーフィット？）。ボンフェローニ修正の背後にある概念はここにも適用されますか？別の問題ですか？もしそうなら、なぜですか？

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

少し奇妙な質問です。今日の私の4年目の生物統計学のクラスでは、複数のテスト補正を使用する場合と使用しない場合について話し合い、教授はオフハンドでコメントしました。彼は統計を始めて以来、これまでに行ったすべてのテストを修正しないのはなぜかと尋ねました。それらはすべて（ほとんど）独立しており、結果を観察するたびに偽陽性を引き出す確率が高まるからです。彼はその後それを笑い飛ばしましたが、なぜ私たちはこれをしないのですか？明らかにばかげているので、私たちがすべきだと言っているわけではありませんが、テストの修正に関しては、どれほど遠すぎるのでしょうか。 単純化のためにalpha = 0.05と仮定し、各テストA、B、Cはいかなる種類の依存関係も持た​​ず、独立していると言います。私が座ってA、B、Cをテストする場合、それらがTテストかどうかに関係なく、0.95を3の累乗で計算しているため、明らかに複数の補正を調整する必要があり、偽陽性の空ロケットを取得する可能性があります。ただし、A、B、Cを異なる手順のコンテキスト内で異なる日に実行し、それらから異なる結果を引き出した場合、これは以前の状況とどう違うのですか？私たちはまだ3つのテストを観察しています。それらはまだ独立しています。 私が達成しようとしているのは、複数のテスト修正をやめると言う論理的な境界です。1つのテストファミリに対してのみ行うべきか、それとも論文全体に対して行うべきか、これまでに実行したすべてのテストに対して行うべきか？複数のテスト修正を使用する方法を理解し、FDR / Bonferonniを使用するいつも仕事中。このコンセプトは、私の頭の中をぐるぐる回っていました。 お時間をいただきありがとうございます。 編集：より最近の質問で、この問題の詳細な議論があります。

8 multiple-comparisons  bonferroni  false-discovery-rate 

ボンフェローニ修正は従属仮説にも有効であることをよく読みます。しかし、私はそれが真実だとは思わず、反例があります。誰かが私に（a）私の間違いがどこにあるか、または（b）私がこれについて正しいかどうかを教えてもらえますか？ カウンターサンプルの設定 2つの仮説をテストするとします。LET最初の仮説が偽とであるそうでありません。同様に定義します。ましょう二つの仮説に関連したp値であるとしましょう表す括弧の中指定されたセットの指標関数。H1=0H1=0H_{1}=0H1=1H1=1H_{1}=1H2H2H_{2}p1,p2p1,p2p_{1},p_{2}[[⋅]][[⋅]][\![\cdot]\!] 固定されたように定義します これは明らかに確率密度ですオーバー。これは2つの密度のプロットですθ∈[0,1]θ∈[0,1]\theta\in [0,1]P(p1,p2|H1=0,H2=0)P(p1,p2|H1=0,H2=1)===12θ[[0≤p1≤θ]]+12θ[[0≤p2≤θ]]P(p1,p2|H1=1,H2=0)1(1−θ)2[[θ≤p1≤1]]⋅[[θ≤p2≤1]]P(p1,p2|H1=0,H2=0)=12θ[[0≤p1≤θ]]+12θ[[0≤p2≤θ]]P(p1,p2|H1=0,H2=1)=P(p1,p2|H1=1,H2=0)=1(1−θ)2[[θ≤p1≤1]]⋅[[θ≤p2≤1]]\begin{eqnarray*} P\left(p_{1},p_{2}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2\theta}[\![0\le p_{2}\le\theta]\!]\\ P\left(p_{1},p_{2}|H_{1}=0,H_{2}=1\right) & = & P\left(p_{1},p_{2}|H_{1}=1,H_{2}=0\right)\\ & = & \frac{1}{\left(1-\theta\right)^{2}}[\![\theta\le p_{1}\le1]\!]\cdot[\![\theta\le p_{2}\le1]\!] \end{eqnarray*}[0,1]2[0,1]2[0,1]^{2} により、 と同様に。P(p1|H1=0,H2=0)P(p1|H1=0,H2=1)==12θ[[0≤p1≤θ]]+121(1−θ)[[θ≤p1≤1]]P(p1|H1=0,H2=0)=12θ[[0≤p1≤θ]]+12P(p1|H1=0,H2=1)=1(1−θ)[[θ≤p1≤1]]\begin{eqnarray*} P\left(p_{1}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2}\\ P\left(p_{1}|H_{1}=0,H_{2}=1\right) & = & \frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!] \end{eqnarray*}p2p2p_{2} さらに、 これは、 P(H2=0|H1=0)P(H2=1|H1=0)==P(H1=0|H2=0)=2θ1+θP(H1=1|H2=0)=1−θ1+θ.P(H2=0|H1=0)=P(H1=0|H2=0)=2θ1+θP(H2=1|H1=0)=P(H1=1|H2=0)=1−θ1+θ.\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)=\frac{2\theta}{1+\theta}\\ P\left(H_{2}=1|H_{1}=0\right) & …

8 hypothesis-testing  mathematical-statistics  multiple-comparisons  p-value  bonferroni