メタアナリシスでは、生データを含まない重要でない研究をどのように扱うべきですか?


9

特定の構成に関するグループAとグループBのパフォーマンスを調べて、メタ分析を行っているとしましょう。さて、私が出くわすいくつかの研究は、2つのグループ間で統計的な差が見つからなかったと報告しますが、正確なテスト統計や生データは表示されません。メタ分析では、そのような研究をどのように処理すればよいですか?

基本的に、私はここに3つの異なる選択肢を見ます:

  1. それらすべてを含め、それぞれに0の効果サイズを割り当てます。
  2. それらをすべて捨てます。
  3. それらのそれぞれに対してある種の電力分析を行うか、特定の数の参加者にしきい値を設定します。統計的有意性に到達できたはずのすべてを含め、それぞれに効果サイズ0を割り当てます。残りは捨てます。

すべての異なるオプションのメリットを確認できます。オプション1はかなり保守的であり、タイプIIのエラーを発生させるリスクしかありません。オプション2はタイプIのエラーを引き起こすリスクを高めますが、多くの不十分な研究のために結果が台無しになるのを防ぎます。オプション3は、オプション1とオプション2の間の中間のように見えますが、多くの仮定や純粋な推測を行う必要があります(パワー分析のベースとする効果のサイズはどれですか?それぞれに何人の参加者を要求する必要がありますか?合格するための研究?)、おそらく最終結果の信頼性を低下させ、主観性を高めます。


効果を過小評価しているので、ゼロを割り当てないでください。1つのアプローチは、0.5のp値(帰無仮説が真の場合に予想されるp値)に関連付けられている効果サイズの値を割り当てることです。
Jeremy Miles

1
P

@JeremyMiles「ゼロを割り当てないでください。これは効果を過小評価しているためです。」- それは...ですか?私はそれが、意味可能性があることができるが、使用可能なデータがありませんから、私は単にこれらの研究のための真の効果が何であるかを知ることはできません。
Speldosa 2014年

重要ではない結果を報告する@FrankHarrell研究は、その研究の実際の効果サイズがどの程度であるかについてのヒントを与えます。まったく何も報告しない研究はまったく役に立たず、影響がない場合(多分これが事実であると想定する必要があるかもしれません) ?)。私がメタ分析のために調査している質問は、私が見ている研究の主な質問ではない(または著者がまったく質問していない)場合がほとんどです。
Speldosa 14年

1
@JeremyMilesしばらく前に「p値0.5に基づく効果サイズの推定」の提案を提供したことを知っています。このアプローチを採用した場合に引用できる作業を知っていますか?私はどんな助けにも感謝します!

回答:


9

ご指摘のとおり、3つのアプローチすべてにメリットがあります。明らかに「最良」の選択肢は1つではありません。3つすべてを実行して、結果を感度分析として提示しないのはなぜですか?

十分かつ適切な感度分析で実施されたメタ分析は、作成者が手元のデータの制限を十分に認識しており、メタ分析を実行するときに行う選択の影響を明示的に示し、批判的に評価できることを示しています結果。私にとって、それはよく行われたメタ分析の印です。

メタ分析を実施したことがある人なら誰でも、その過程で多くの選択と決定を行う必要があり、それらの選択と決定が得られる結果にかなりの影響を与える可能性があることをよく知っています。メタ分析(または、より一般的には、系統的レビュー)の利点は、メソッド(したがって、選択と決定)が明示的に行われることです。そして、その影響を体系的に評価することができます。それはまさにメタ分析が行われるべき方法です。


4

ここに私がとるであろうステップ(そして私が生徒たちに教えるステップ)があります:

1)元の研究の著者に連絡します。礼儀正しく、メタ分析で使用する正確な効果の見積もりを要求します。起こり得る最悪のことは、彼らがあなたに情報を提供することを返信したり拒否したりしないことです。最良のシナリオは、探していた正確な情報を取得することです。

2)正確なp値がある場合、SDをある程度確実に逆算できることがよくあります。

3)あなたはある種の帰属をする。これは、同様のサイズの試験からの効果の見積もりを「借りる」、メタ分析で最大のSD、同じメタ分析で同様の研究から得たSD、専門家の意見などを使用している可能性があります。他より科学的に正しいですが、最も重要なことは、何をしたかについて明確であり、感度分析を行って、プールされた効果の推定値への帰属の効果を決定することです。

3)あなたはそれらに研究を欠けているデータでメタ分析に入れました。プログラム(RevManなど)は、その研究の効果の見積もりと分散を計算できないため、これらの研究に分析の重みを与えませんが、部分的なデータを持つ追加の研究があったことを視覚的に示すことができますこれらはプールされた計算の一部ではありませんでした。

4)これらの研究からのデータは含めません。

毒を選んで...

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.