タグ付けされた質問 「publication-bias」

私は、統計が教科書の外で「現実世界」でどのように使用されているかを見るという特定の目的で、多くの進化的/生態学的な学術論文を読みました。私は通常、論文の統計を福音として取り上げ、統計の学習に役立つように論文を使用します。結局のところ、論文を書くのに何年もかかり、厳格な査読を経たなら、統計は確かに堅実になるでしょうか？しかし、過去数日間、私は自分の仮定に疑問を呈し、学術論文で発表された統計分析がどのくらいの頻度で疑われるのか疑問に思っていました。特に、生態学や進化などの分野の人々は、統計の学習に費やす時間を減らし、自分の分野の学習により多くの時間を費やすことが期待されます。 学術論文で疑わしい統計を見つける頻度はどれくらいですか？

44 publication-bias  academia 

いくつかの方法論論文（eg Egger et al 1997a、1997b）では、以下のようなファンネルプロットを使用して、メタ分析によって明らかにされた出版バイアスを議論しています。 1997bの論文は続けて、「出版バイアスが存在する場合、発表された研究のうち、最大のものが最小の効果を報告することが予想される」と述べています。しかし、それはなぜですか？これはすべて、私たちがすでに知っていることであることが証明されるように思えます。小さな影響は、大きなサンプルサイズでのみ検出可能です。未発表のままの研究については何も言わずに。 また、引用された研究は、ファンネルプロットで視覚的に評価される非対称性は、「大きなメリットの少ない小規模試験の選択的非公開があったことを示している」と主張しています。しかし、再び、私はどのように理解していない任意の研究の特徴をされた公表はおそらく私たちにされた作品については何も（私たちは推論を行うことができ）伝えることができない、公開を！ 参考文献 Egger、M.、Smith、GD、＆Phillips、AN（1997）。メタ分析：原則と手順。BMJ、315（7121）、1533-1537。 Egger、M.、Smith、GD、Schneider、M。、およびMinder、C。（1997）。単純なグラフィカルテストによって検出されたメタ分析のバイアス。BMJ、315（7109）、629-634。

32 meta-analysis  publication-bias 

私は、False Discovery Rate（FDR）が個々の研究者の結論をどのように知らせるべきかについて頭をかき回そうとしています。たとえば、研究の能力が不足している場合、有意であったとしても結果を割り引く必要がありますか？注：複数のテスト修正の方法としてではなく、複数の研究の結果を総合的に検討するという文脈でFDRについて話している。α = .05α=.05\alpha = .05 （多分寛大な）の仮定を作るテストの仮説が実際に真であるが、FDRは、タイプIの両方の関数であり、次のようにIIエラー率を入力します。〜0.5∼.5\sim.5 FDR = αα + 1 - β。FDR=αα+1−β.\text{FDR} = \frac{\alpha}{\alpha+1-\beta}. ある研究が十分な能力を持たない場合、十分な能力のある研究の結果と同様に、結果が有意であっても、結果を信頼すべきではないことは理にかなっています。したがって、一部の統計学者が言うように、「長期的に」、従来のガイドラインに従えば、誤った多くの重要な結果を公開する可能性がある状況があります。研究の一貫性が一貫して不十分な研究によって特徴づけられている場合（例えば、過去10年間の候補遺伝子環境相互作用の文献）、複製された重要な発見でさえ疑われる可能性があります。××\times Rパッケージを適用するとextrafont、ggplot2とxkcd、私はこれが有効として概念かもしれないと思うの視点の問題： この情報を与えられた場合、個々の研究者は次に何をすべきでしょうか？私が勉強している効果の大きさを推測している場合（したがって、サンプルサイズを考慮して推定値）、FDR = .05までαレベルを調整する必要がありますか？私の研究が十分ではなく、FDRの考慮を文献の消費者に委ねる場合でも、α = .05レベルで結果を公開する必要がありますか？1 - β1−β1 - \betaαα\alphaα = .05α=.05\alpha = .05 これは、このサイトと統計文献の両方で頻繁に議論されているトピックであることは知っていますが、この問題に関する意見の一致を見つけることができないようです。 編集： @amoebaのコメントに応じて、FDRは標準のタイプI /タイプIIエラー率分割表から導出できます（そのさをご容赦ください）。 | |Finding is significant |Finding is insignificant | |:---------------------------|:----------------------|:------------------------| |Finding is false in reality …

30 statistical-significance  p-value  publication-bias  false-discovery-rate 

現在、メタ分析に取り組んでいます。そのため、サンプル内にネストされた複数の効果サイズを分析する必要があります。他の可能な戦略の一部とは対照的に、Cheung（2014）の3レベルのメタ分析アプローチによる依存効果サイズのメタ分析（たとえば、依存関係の無視、研究内の効果サイズの平均化、1つの効果サイズの選択、または分析単位のシフト）。私の依存するエフェクトサイズの多くは相関関係であり、かなり独特の（ただし、局所的に関連する）変数が含まれているため、それらを平均しても概念的に意味がありません。 ただし、同時に、メタ分析の影響を推定する過程で、出版バイアスに対処するためのStanley＆Doucouliagos（2014）の方法を使用することにも興味があります。簡単に言うと、メタ回帰モデルを当てはめて、それぞれの分散（精度効果テスト、PET）またはそれぞれの標準誤差（標準誤差を含む精度効果推定、またはPEESE）によって研究効果サイズを予測します。PETモデルの切片の重要性に応じて、PETモデルからの切片（PET切片p > .05の場合）またはPEESEモデル（PET切片p <.05の場合）を推定されたパブリケーションとして使用します。バイアスのない平均効果サイズ。 私の問題は、しかし、スタンレーとドゥクーリアゴス（2014）のこの抜粋に起因します。 私たちのシミュレーションでは、原因不明の過剰な異質性が常に含まれています。したがって、従来の慣例では、REE [ランダム効果推定量]はFEE [固定効果推定量]よりも優先されます。ただし、出版物の選択がある場合、従来の方法は間違っています。統計的有意性の選択により、REEは常にFEEよりバイアスされます（表3）。この予測可能な劣等性は、REE自体が最大の出版バイアスを持つ単純平均とFEEの加重平均であるという事実によるものです。 この一節から、変量効果/混合効果メタ分析モデルでPET-PEESEを使用するべきではないと信じるようになりましたが、マルチレベルのメタ分析モデルには変量効果推定量が必要なようです。 私は何をすべきかについて引き裂かれています。依存しているすべての効果サイズをモデル化できるようにしたいのですが、同時にこの特定の方法で出版バイアスを補正しています。3レベルのメタ分析戦略をPET-PEESEと合法的に統合する方法はありますか？ 参考文献 Cheung、MWL（2014）。3レベルのメタ分析による依存効果サイズのモデリング：構造方程式モデリングアプローチ。心理的方法、19、211から229まで。 Stanley、TD、＆Doucouliagos、H.（2014）。出版物選択バイアスを減らすためのメタ回帰近似。研究の合成方法、5、60から78。

10 multilevel-analysis  meta-analysis  meta-regression  publication-bias 

メタ分析を提出する前に、ファネルプロットを作成して、異質性とパブリケーションのバイアスをテストします。-1から+1までの値を取る、プールされた効果サイズと各研究からの効果サイズがあります。各研究の患者とコントロールのサンプルサイズn1、n2があります。標準誤差（SE）を計算できないため、エッガーの回帰を実行できません。縦軸にSEまたはprecision = 1 / SEを使用できません。 ご質問 横軸の効果サイズと縦軸の合計サンプルサイズn（n = n1 + n2）を使用してファンネルプロットを作成できますか？ そのようなファンネルプロットはどのように解釈されるべきですか？ いくつかの公開された論文は、縦軸に合計サンプルサイズを指定したこのようなファンネルプロットを示しました（公開されたPMID：10990474、10456970）。また、ウィキペディアのファンネルプロットwikiもこれに同意しています。しかし、最も重要なのは、BMJ 1999に関するMathhias Eggerの論文（PubMed PMID：9451274）がそのようなファンネルプロットを示しており、SEがなく、縦軸にサンプルサイズしかないことです。 さらに質問を 標準誤差が不明な場合、そのようなプロットは受け入れられますか？ 垂直軸索にSEまたはpresicion = 1 / SEを設定した従来のファンネルプロットと同じですか？ その解釈は異なりますか？ 正三角形を作成するには、どのように線を設定すればよいですか？

10 meta-analysis  sample-size  standard-error  funnel-plot  publication-bias 

休業。この質問は意見に基づいています。現在、回答を受け付けていません。 この質問を改善してみませんか？この投稿を編集して、事実と引用で回答できるように質問を更新してください。 2年前休業。 略奪的なジャーナルの実践を明らかにするための個人による「ごちゃまぜ」的な取り組みの重要であるにもかかわらず、社会科学研究の影には、より大きく、より根本的な脅威が迫っています（ただし、研究者が対処する必要のある複数の問題があります）。簡単に言うと、ある見解によると、250より小さいサンプルから導出された相関係数を信頼できない場合があります。 信頼できる相関係数よりも、社会科学の測定値間の関係の存在、方向、および強さを推測するために依存するテストを見つけることは困難です。ただし、250ケース未満のデータから計算された相関係数に基づいて2つの構造間の関係について強い主張をしている査読済みレポートを見つけるのは難しくありません。 社会科学が直面している現在の複製危機（上記の2番目のリンクを参照）を考慮して、相関係数の安定化に関するこのレポートを（少なくとも一部の社会科学分野の基準によって）大きなサンプルでのみどのように表示する必要がありますか？ピアレビューされた社会科学研究の壁の別の亀裂ですか、それとも、そのプレゼンテーションで誇張されてきた比較的些細な問題ですか？ この質問に対する正解は1つではない可能性が高いので、代わりに、この質問に関するリソースを共有し、慎重に検討し、議論することができるスレッドを生成したいと思います（もちろん、丁寧に、そして丁重に）。

9 correlation  methodology  publication-bias 

複数の結果を持ついくつかの記事を含むマルチレベルのメタ分析を行っています。そのため、rma.mv()関数を使用しています。コード例： test.main = rma.mv(yi,vi,random = ~1|ID, data = data) 2つの質問があります。 私は以前に読んクエリ使用している場合があることrma.mv()、ranktest()ファンネルプロットの非対称性の信頼性テストではありません。ただし、サンプル分散がモデレーターとして元のモデルに追加された場合、このモデルはエッガーの検定に似ています。 test.egger = rma.mv(yi,vi, mod = vi, random = ~1|ID, data = data) このコードはそのガイダンスの正しい解釈ですか？また、ファンネルプロットも（多かれ少なかれ）rma.mv()モデルのツールとして役に立たないのですか？ また、モデルの結果の感度を評価するためにleave1out()もtrimfill()機能しませんrma.mv()。rma.mv()Rの熟練した理解を必要としないモデルで現在利用可能な他の感度分析ツールはありますか？

9 meta-analysis  sensitivity-analysis  publication-bias  funnel-plot