メタ分析の長所と短所


14

私は進化論の特定の分野でメタ分析を行うことを検討してきましたが、先に進む前に知りたいと思います。プロセスのプラスとマイナスは何ですか?たとえば、実用的な実験の必要はないという利点(時間とお金)がありますが、出版バイアス(よりエキサイティングな結果が発行される)があり、それは不利です。

統計ジャーナルのどの論文でメタ分析の長所と短所が議論されていますか?


2
短所:(i)出版バイアス; ジャーナルは重要でない発見を拒否します(ii)ファイル引き出し効果。研究者は、ひどく開始している試験を中止するか、ヌル結果試験を差し控えています(iii)外国の雑誌のバイアス; 取るに足らない結果は外国のジャーナルに押し込まれますが、それはメタ分析ではあまりカウントされません。これは特に超心理学の問題です。これを修正する可能性のある方法は、実験の開始前に実験の意図を記録する中央ボディを作成し、メタ分析はこのボディでの以前の意図を記録したもののみを考慮することです。

4
興味のあるものはRosenthalの。これは、観測された有意性が消えるまでに何個のヌル結果スタディをファイル描画する必要があるかを示す統計です。N

回答:


13

Borenstein、Hedges、Higgins、Rothsteinによるメタ分析の紹介では、メタ分析の長所と短所について詳しく説明しています。たとえば、著者がメタ分析のさまざまな批判に応える「メタ分析の批判」の章を参照してください。その章のセクション見出しに注意し、その点に関連するいくつかの観察結果をメモリから作成します。

  • 「1つの数字で研究分野を要約することはできません」:優れたメタ分析は、真の効果サイズの変動性をモデル化し、推定値の不確実性をモデル化します。
  • 「ファイルドロワーの問題によりメタ分析が無効になる」:ファンネルプロットおよび関連ツールを使用すると、出版バイアスをチェックするために、サンプルサイズがエフェクトサイズに関連しているかどうかを確認できます。優れたメタ分析は、未発表の研究を取得するよう努めています。この問題は物語の研究で共有されています。
  • 「リンゴとオレンジの混合」:優れたメタ分析は、含まれる研究を分類し、メタ分析での研究の包含と除外を正当化するための厳密なコーディングシステムを提供します。研究が分類された後、モデレーター分析を実行して、効果のサイズが研究タイプによって異なるかどうかを確認できます。
  • 「重要な研究は無視されます」:評価された研究の質をコード化できます。大きなサンプルには、より大きな重みを与えることができます。
  • 「メタ分析は無作為化試験と一致しない可能性があります」:
  • 「メタ分析のパフォーマンスが低い」:これは、メタ分析メソッドの標準を改善するための単なる議論です。
  • 「ナラティブレビューの方が良いですか?」:メタ分析(出版バイアスなど)の批評の多くは、ナラティブレビューで共有されています。推論の方法は、叙述のレビューではあまり明確ではなく、厳密ではありません。

14

私が経験したことですが、あなたが自分の領域に独自の工夫を加えていないなど、以前にやったことがなければ、適切なジャーナルはそれらに対して偏りがありません。科学ではメタアナリシスは得られませんが、あなたの分野では通常、新しいメタアナリシスで優れたジャーナルは問題ありません。

実験を行わないことで節約される時間とコストは、多くの場合、他のことをすることに食われます。大きな問題の1つは、多くの記事が分析に十分な情報を報告していないことです。多くの場合、これを回復するために作者に連絡する必要がありますが、残念ながらすべてが頻繁にリクエストに応じられないか、順守できません。これはプロセスの最大のタイムシンクです。

また、高い引用率のようないくつかのプロを逃しました。あなたが最初で唯一のメタ分析である場合、新しい研究者は頻繁に論文を引用します。別の長所は、比較的簡単な追跡調査です。動的な研究分野では、1〜2年後に、次の2年間の研究を追加のメタ分析に追加するだけです。あなたが最初の発動者であれば、研究分野でメタ分析を選択することは比較的簡単です。その後、比較的高い引用率につながります。

文献から検索している結果に出版バイアスがあることに懸念がある場合、ファンネルプロット(y軸のスタディサイズ(多くの場合-se)とxの効果)などの統計的手法を使用して、そのようなものを検出します。主題に関する公平な文献は、ファンネルプロットで対称的な結果になる傾向がありますが、出版バイアスによる影響は、分布の半分にしか見えません。また、実験とは異なり、メタ分析に送られるデータに偏りがあることを発見することは公開可能です。


公開バイアスについて最初に考えたのは、メタ分析の結果を公開する方法についてではなく、文学研究を通じてアクセス可能なデータをOPが懸念しているということでした。
cbeleitesは、モニカをサポートしています

はい、私はそれを行うかどうかを決定するときに考慮する必要がある長所と短所にもっと考えていたので、それらの影響を最小限に抑えることができます。
rg255

6

マイケル・ボレンスタインと同僚に謝罪して、「メタ分析の批判」を批判すると思いました。

  • 「1つの数字で研究分野を要約することはできません」:優れたメタ分析は、真の効果サイズの変動性をモデル化し、推定値の不確実性をモデル化します。

!分散は不確実性と同様に誤解を招く可能性のある別の要約であり、ほぼ確実に存在するバイアスが明示的に扱われない場合、両方は非常に誤解を招くでしょう。

  • 「ファイルドロワーの問題によりメタ分析が無効になる」:ファンネルプロットおよび関連ツールを使用すると、出版バイアスをチェックするために、サンプルサイズがエフェクトサイズに関連しているかどうかを確認できます。優れたメタ分析は、未発表の研究を取得するよう努めています。この問題は物語の研究で共有されています。

!かつてボックスが言ったように-クイーンメアリーが入るのに十分なほど海が穏やかかどうかを確認するために手boatぎボートを送るようなもの。非常に低電力で、ほぼ間違いなく打ち切りプロセスの指定が間違っています。

  • 「リンゴとオレンジの混合」:優れたメタ分析は、含まれる研究を分類し、メタ分析での研究の包含と除外を正当化するための厳密なコーディングシステムを提供します。研究が分類された後、モデレーター分析を実行して、効果のサイズが研究タイプによって異なるかどうかを確認できます。

!繰り返しますが、絶望的な力と通常は偏りもあります。

  • 「重要な研究は無視されます」:評価された研究の質をコード化できます。大きなサンプルには、より大きな重みを与えることができます。

!絶望的な力、モデルの仕様ミス、バイアスが常に適切に説明されているとは限らないメタ分析の品質スコアによって生じるバイアスについて

  • 「メタ分析は無作為化試験と一致しない可能性があります」:

!彼らの本当の不確実性についての完全な同意と唯一の情報源。

  • 「メタ分析のパフォーマンスが低い」:これは、メタ分析メソッドの標準を改善するための単なる議論です。

!完全に同意します。

  • 「ナラティブレビューの方が良いですか?」:メタ分析(出版バイアスなど)の批評の多くは、ナラティブレビューで共有されています。推論の方法は、叙述のレビューではあまり明確ではなく、厳密ではありません。

!完全に同意します。

-メタアナリシスの文献maintiansなバラ色ガラスのわからなぜあまりのメタ分析を持って行われるように、個々の研究努力で高品質のための強力な励ましを:医学研究にメタ分析を、しかしすべき批判のすべての完全な意識で行うこと麦汁。

そして、私はほとんどいつも忘れているように、他の人が意味するものは時間と場所によって変化し、おそらく最も一般的な意味-抽出された数値に使用される定量的方法体系的なレビューで-私が言っていることではありません。定量的手法を実際に使用しないことが決定された場合でも、体系的なレビュープロセス全体を意味します。または、wikiで引用されているように、たった1つの文で

統計では、メタ分析とは、研究結果のパターン、それらの結果の間の不一致の原因、または以下のコンテキストで明らかになる可能性のある他の興味深い関係を特定することを期待して、異なる研究からの結果を対比し、組み合わせることに焦点を当てた方法を指します複数の研究。


良い点は、物語のレビューは、以前の研究の長所と短所を議論する自由を与えます。おそらく、メタ分析は、古い(おそらく偏りがあり、変動する品質) )データ。
rg255

@ rg255コメントの最後に少し追加しました。また、おそらく強力な励ましの参照からの結論が関連するでしょう。
パネロン
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.