すべてが「統計的に有意ではない」研究のメタ分析は、「有意な」結論に導くことができますか？

メタ分析には多数の研究が含まれており、そのすべてで0.05を超えるP値が報告されています。全体的なメタ分析で0.05未満のP値を報告することは可能ですか？どんな状況で？

（答えはイエスだと確信していますが、参照または説明が欲しいです。）

statistical-significance meta-analysis combining-p-values

メタ分析についてはあまり知りませんが、仮説検定は一切行わず、人口効果の推定にすぎないという印象を受けました。この場合、重要な概念はありません。

— -Kodiologist

さて、メタ分析は-一日の終わりに-単なる加重平均です。そして、あなたは確かにその加重平均の仮説検定を設定することができます。たとえば、Borenstein、Michael、et al。「メタ分析のための固定効果および変量効果モデルの基本的な紹介。」Research Synthesis Methods 1.2（2010）：97-111。

— boscovich

他の答えも良いですが、単純なケースです。2つの研究がp = 0.9で重要ですが、p = 0.95では重要ではありません。2つの独立した研究が両方ともp> = 0.9を示す確率は0.01のみであるため、メタ分析ではp = 0.99で有意性が示される可能性があります

— -barrycarter

限界をとる：誰の測定でも、小さな

p

$p$ 値を持つ（非自明な）仮説に対して十分な証拠を提供することはできませんが、十分な大きさの測定のコレクションは提供できます。

— エリックタワーズ

p-値は、「統計的に有意」な効果も重要でない効果も示しません。重要な結論から何を理解できますか？それはメタ分析の結論ですか？

— サブハッシュC.ダバール

回答:

理論的には、はい...

個々の研究の結果は重要ではないかもしれませんが、一緒に見ると、結果は重要である可能性があります。

理論的には、研究結果を他のランダム変数と同様に処理することで続行できます。 $y_i$ $i$

してみましょういくつかのランダムな変数（例えば、研究から推定すること）。次に、が独立で場合、次の方法で一貫して平均を推定できます。 $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

さらに仮定を追加して、を推定値分散とします。次に、逆分散重み付けでを効率的に推定できます。 $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

これらのいずれの場合でも、個々の推定値がそうでなくても、はある信頼水準で統計的に有意である可能性があります。 $\hat{\mu}$

しかし、大きな問題、認識すべき問題があるかもしれません...

もしその後、メタ分析はに収束しないことがあり（つまりメタ分析の平均が矛盾推定量です）。 $E[y_i] \neq \mu$ $\mu$

たとえば、否定的な結果の公開に偏りがある場合、この単純なメタ分析は恐ろしく一貫性がなく、偏っている可能性があります！それは、コインフリップがテールを着地させなかったフリップを観察するだけで、ヘッドが着地する確率を推定するようなものです！
$y_i$ とは独立していない場合があります。たとえば、2つの研究とが同じデータに基づいている場合、メタ分析でとを独立として扱うと、標準誤差が大幅に過小評価され、統計的有意性が誇張されます。推定値は依然として一貫していますが、標準誤差は研究の相互相関を合理的に説明する必要があります。 $y_j$ $i$ $j$ $y_i$ $y_j$
（1）と（2）を組み合わせることは特に悪いことです。

たとえば、投票をまとめて平均化するメタ分析は、個々の投票よりも正確である傾向があります。ただし、ポーリングをまとめて平均化することは、依然として相関エラーに対して脆弱です。過去の選挙で出てきたのは、若い出口調査員が高齢者ではなく他の若者にインタビューする傾向があるということです。すべての出口ポーリングで同じエラーが発生する場合、悪い推定値があり、それが適切な推定値であると思われる可能性があります（出口ポーリングは、同じアプローチを使用して出口ポーリングを実行し、このアプローチは同じエラーを生成するため、相関しています）。

間違いなくメタ分析に精通している人は、より良い例、より微妙な問題、より洗練された推定技術などを思い付くかもしれませんが、これは最も基本的な理論のいくつかと大きな問題のいくつかに到達します。異なる研究が独立したランダムなエラーを作成する場合、メタ分析は非常に強力です。調査全体でエラーが系統的である場合（たとえば、全員が年配の有権者を過小評価するなど）、調査の平均もオフになります。相関関係のある研究または相関関係のあるエラーを過小評価すると、効果的に集計サンプルサイズを過大評価し、標準誤差を過小評価します。

また、一貫した定義などのあらゆる種類の実用的な問題があります...

— マシュー・ガン
ソース

エフェクトサイズ間の依存関係を無視するメタ分析を批判しています（つまり、多くのエフェクトサイズは同じ参加者に基づいていましたが、独立として扱われていました）。著者は大したことはないと言っています、私たちはとにかくモデレーターに興味があります。ここであなたが指摘したのは、「メタ分析で独立したものとして扱うことは、標準誤差を大幅に過小評価し、統計的有意性を誇張する可能性がある」ということです。なぜそうなのかを示す証明/シミュレーション研究はありますか？私は相関エラーがSEを過小評価することを意味すると言っている参考文献をたくさん持っています...しかし、私は理由がわかりませんか？

— マークホワイト

@MarkWhite基本的な考え方は、

。すべてのためならば

たちが持っている

と

のための

後、

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

および標準誤差は

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

。一方、共分散項が正で大きい場合、標準誤差は大きくなります。

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— マシューガン

@MarkWhite私はメタ分析の専門家ではないので、正直なところ、現代のメタ分析をどのように行うべきかについての素晴らしい情報源が何なのかわかりません。概念的には、同じデータで分析を複製することは確かに有用ですが（一部の主題を集中的に研究しているように）、新しい独立した主題で結果を再現することと同じではありません。

— マシューガン

ああ、つまり言葉で：エフェクトサイズの合計分散は、（a）その分散と（b）他のエフェクトサイズとの共分散に由来します。共分散が0の場合、標準誤差の推定値は問題ありません。しかし、他の効果サイズと共変する場合、その分散を考慮する必要があり、それを無視すると、分散を過小評価していることになります。分散は2つの部分AとBで構成されており、依存関係を無視すると、Bの部分は0であると見なされますか？

— マークホワイト

また、これは優れたソースのようです（特にBox 2を参照）：nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

はい。独立したスタディから p値があるとします。 $N$ $N$

フィッシャーのテスト

（編集-以下の@mdeweyの有用なコメントに応じて、異なるメタテストを区別することが重要です。以下でmdeweyが言及した別のメタテストのケースを説明します）

古典的なフィッシャーメタ試験（参照"研究労働者のための統計的方法"、フィッシャー（1932））統計有するヌル分布を、よう均一RV用。

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

ましょう示す -quantileのヌル分布。 $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

すべてのp値がに等しいとし。ここで、おそらくです。次いで、及び $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ たとえば、および場合、個々の値は以下でなければなりません

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

もちろん、メタ統計テストでは、個々のヌルがすべて真である「集約」ヌルのみが「唯一」であり、ヌルのうち1つだけが偽であるとすぐに拒否されます。 $N$

編集：

ここに対して「許容」p値のプロットである、ことを確認するで育つそれにオフレベルと思われるが、。 $N$ $c$ $N$ $c\approx0.36$

Iは、上部の変位値行き見出さ分布 $\chi^2$ ここで、その示唆となるよう

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

は、上から

によって

区切られています。以下のよう

、このバウンドは合理的にシャープなようです。

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

逆正規検定（Stouffer et al。、1949）

検定統計量は与えられますと標準正規分位関数。大きな負の値のテスト不良、すなわち、もし。で。したがって、場合、

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

。場合

、

、従って

として

。場合

、

任意の許容領域内の値を取る

。したがって、メタテストを

として拒否するには、0.5未満の一般的なp値で十分です。

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— クリストフ・ハンク
ソース

1 / e

$1/e$

ありがとう:-)。私は...私はプロットを見てどちらかの前に1を期待していなかった

— クリストフHanckを

興味深いことに、フィッシャーによるメソッドは、このプロパティを持つ一般的に使用されるメソッドの1つです。他のほとんどの場合、Fと呼ばれるものは、$ c> 0.5の場合はNとともに増加し、そうでない場合は減少します。これは、Stoufferの方法とEdgingtonの方法、およびロジットとpの平均に基づく方法に適用されます。ウィルキンソン法の特殊なケースであるさまざまな方法（最小p、最大pなど）には、異なる特性があります。

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ is already less than $\alpha_*$ .

It is possible to work out the critical value and for example if we have ten primary studies each with a $p$ -values of 00.05 so as close to significant as can be then the overall critical value is 0.40. The method can be seen as a special case of Wilkinson's method which uses $p_{[r]}$ for $1\le r\le k$ and in fact for the particular set of primary studies even $r=2$ is not significant ( $p=0.09$ )

L H C Tippett's method is described in a book The methods of statistics. 1931 (1st ed) and Wilkinson's method is here in an article "A statistical consideration in psychological research"

— mdewey
ソース

Thanks. But note that most meta-analysis methods combine effect sizes (accounting for any difference in sample size), and do not combine P values.

— Harvey Motulsky

@HarveyMotulsky agreed, combining p-values is a last resort but the OP did tag his question with the combining-p-values tag so I responded in that spirit

— mdewey

I think that your answer is correct.

— Subhash C. Davar