多くのメタ分析の結果を組み合わせた後の神経科学における低出力の意味(Button et al 2013)


7

Nature Neuroscienceの2013年のレビュー記事で、Button et al。停電:小さなサンプルサイズは、神経科学の信頼性を損なう理由は、それがあると述べました。

神経科学の研究の平均統計力は非常に低い

彼らはメタ分析を検索し、それぞれのポストホックパワーを計算し、中央値のポストホックパワーを取ることによって結果を組み合わせました。中央値は20%でした。わかりません。事後電力は、常に本質的に達成されたp値に関連付けられています。中央値のp値が〜0.3のようなもので、ポストホックパワーが20%であることを記述するのと同じではないでしょうか。

では、基本的に、この結果はどのように神経科学の研究の質を損なうのでしょうか?彼らは多くの有意でないp値を用いた研究を発表しているようです。

このレビューは非常に有名な著者によるNature Neuroscienceの研究なので、私の解釈には欠陥がある可能性が高いと思います。

編集:名目上の有意性のある研究のみが含まれているとしたら、ある点がわかるでしょう。その場合、中央値パワーは、重要な発見の中央値複製確率を示します。


1
ポストホックパワーは無意味で誤解を招くものです。Hoenig&Heisey(2001、The American Statistician)を参照してください。「これは非常に有名な著者によるネイチャーの研究なので、私の解釈には欠陥がある可能性が高いと思います。」-これは誤った結論です。NatureScience、および類似のジャーナルは、有効な統計ではなく、驚くべき発見を選択します。残念ながら、ここの査読者は通常、ランクの低いジャーナルよりも多くの統計を知りません。
ステファンコラサ2017

1
単一の研究の事後的な力の分析は無意味で誤解を招くものであることに同意します。ただし、これは解釈レベルでの特定の調査結果とは関係がないため、研究分野の典型的なパワーレベルについて説明することには意味があると思います。ただし、そうであるという仮定は、よくあることですが、メタ分析の結果が不均一である場合には疑問の余地があります。
dbwilson 2017

1
@StephanKolassa NatureまたはScienceにジャンクが公開される可能性があることには同意しますが、この特定の研究に精通していない限り、コメントは少し役に立たないと思います。実際、私見はそれが良い論文であり、彼らは事後的な力を行っていないので、OPの理解は確かに欠陥があります。dbwilsonの答えはこれを正しく説明しているようです(+1)。
アメーバ2017年

pの低い値は、有意ではないと誤って解釈されているようです。したがって、質問に答えることは困難です。この観点で中央値の考え方を導入すると、さらに混乱が生じます。この問題は、特定の概念を定義することで改善される場合があります。
Subhash C. Davar

回答:


6

私はこの特定の研究に精通していませんが、メタ分析を使用して研究領域の力を推定することに精通しています。「事後の力は常に本質的に達成されたp値に関連付けられている」というあなたの声明は、単一のメタ分析に寄与する個々の研究の事後の力は、観察された効果が真の人口効果に等しい。その仮定をもってのみ、事後パワーはp値に関連します(私は個人的にこの形式の事後パワー分析は無意味であると私は思いますが、それは少しオフトピックです)。

この論文の著者が行っていると私が信じているのは、それが通常行われていることを考えると、メタ分析平均は真の母集団効果であると想定し、その値を使用してその平均に寄与する研究の検出力を推定することであり、各研究の観察された効果。したがって、メタ分析内の平均検出力は、全体的なメタ分析の平均効果と、個々の研究のサンプルサイズ(または標準誤差)の関数です。彼らはこれをメタ分析ごとに行い、それら全体の中央値パワーを計算しました。


1
好奇心から、私は紙を脱脂し、彼らが使うG *パワーを持つ著者明示的に否認し、「遡及力」の分析を。(少なくとも、サイトからリンクされている
Faul et al。2007の論文で

+1。私はボタンなどを知っています。2013年の論文は教育で使用されたものであり、これが正解だと思います。Ccを@ GeoMatt22に。n = 10の1つのスタディとn = 1000の別のスタディがあり、大規模なスタディで効果が非常に小さいことが示されている場合、「メタ分析」を行うことは完全に問題なく、真の効果はおそらく小さいと結論付けます(大規模な研究に基づいて)、さらに、小規模な研究では非常に低い検出力が必要だったに違いない-たとえそれが有意なp値と大きな効果サイズを報告したとしても。なぜ誰もがそれを否定するのか、私にはわかりません。
アメーバ2017年

@amoeba私はこの領域に精通していないので、私のコメントが間違って出てこないことを願っています。これは、回答の最初の段落をサポートすることを意図したものです。そして、OPが「事後」と呼んでいるのは、より一般的に「遡及的」と呼ばれるものかもしれません。(しかし、再び、私はフィールドに精通していません。)
GeoMatt22
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.