特定の構成に関するグループAとグループBのパフォーマンスを調べて、メタ分析を行っているとしましょう。さて、私が出くわすいくつかの研究は、2つのグループ間で統計的な差が見つからなかったと報告しますが、正確なテスト統計や生データは表示されません。メタ分析では、そのような研究をどのように処理すればよいですか?
基本的に、私はここに3つの異なる選択肢を見ます:
- それらすべてを含め、それぞれに0の効果サイズを割り当てます。
- それらをすべて捨てます。
- それらのそれぞれに対してある種の電力分析を行うか、特定の数の参加者にしきい値を設定します。統計的有意性に到達できたはずのすべてを含め、それぞれに効果サイズ0を割り当てます。残りは捨てます。
すべての異なるオプションのメリットを確認できます。オプション1はかなり保守的であり、タイプIIのエラーを発生させるリスクしかありません。オプション2はタイプIのエラーを引き起こすリスクを高めますが、多くの不十分な研究のために結果が台無しになるのを防ぎます。オプション3は、オプション1とオプション2の間の中間のように見えますが、多くの仮定や純粋な推測を行う必要があります(パワー分析のベースとする効果のサイズはどれですか?それぞれに何人の参加者を要求する必要がありますか?合格するための研究?)、おそらく最終結果の信頼性を低下させ、主観性を高めます。