彼らがあなたに矛盾する結果を与えるとき、どちらがより良い研究であるかを検出する方法は？

あなたはしばしば方向性が逆の結果を結論付ける様々な研究に新聞に出くわします。それらは、新しい処方薬のテストや特定の栄養素のメリットなど、その問題に関連している可能性があります。

そのような2つの研究が矛盾する結果に達したとき、2つのうちどちらが真実に最も近いかをどのようにして知ることができますか？

2つの実験的研究または実際のメタ分析を調べている場合は、Jeromyの答えで十分だと思います。しかし、多くの場合、私たちは2つの非実験的研究の調査に直面し、これら2つの異なる結果の妥当性を評価する任務を負っています。

以下のような質問のサイラスの食料品のリストを示唆して、トピック自体は短い応答に従順ではなく、全体の本は、このような問題に対処することを目的とした本質的にあります。非実験的データの研究に関心のある方は、ぜひお読みください。

ウィリアムR.シャディッシュ、トーマスD.クック、ドナルドトーマスキャンベルによる一般化された因果推論のための実験的および準実験的なデザイン（このテキストの古いバージョンも同様に優れていると聞きました）。

Jeromyが言及したいくつかの項目（より大きなサンプルサイズとより優れた方法論的厳密さ）、およびCyrusが言及するすべてのものは、Campbell and Cookが「内部有効性」と呼ぶものと見なされます。これらには、XとYの関係を評価するために使用される調査計画と統計手法の側面が含まれます。特に、批評家として、結果にバイアスをかけ、結果の信頼性を低下させる可能性のある側面について懸念しています。これは統計分析に特化したフォーラムであるため、回答の多くは統計的手法に集中しており、評価している関係の偏りのない見積もりを保証します。しかし、それらは統計分析に関係のない研究設計の他の側面であり、統計分析でどのような厳密な長さを行っても、調査結果の妥当性が低下します（Cyrusの実験忠実度のいくつかの側面に関する言及などは対処できますが、解決できません）統計的方法、およびそれらが発生した場合は常に研究結果の有効性が低下します）。ここに記載されていない非実験的研究の結果を比較する際に評価することが重要になる内部妥当性の他の多くの側面と、調査結果の信頼性を区別できる研究デザインの側面があります。ここで詳しく説明するのはあまり適切ではないと思います。

キャンベルとクックは、研究の「外部的妥当性」にも言及しています。研究デザインのこの側面は、範囲がはるかに小さいことが多く、内部の妥当性ほど注目に値しません。外部有効性は本質的に調査結果の一般化可能性を扱います。私は、一般の人が主題に精通している限り、妥当性を評価できることが多いと思います。短編小説は、シャディッシュ、クック、キャンベルの本を読んだ。

メタ分析の文献は、あなたの質問に関連しています。メタ分析手法を使用して、研究全体でプールされた関心の効果の推定値を生成できます。このような手法は、多くの場合、サンプルサイズの観点から研究に重みを付けます。

メタ分析コンテキスト内で、研究者は固定効果モデルと変量効果モデルについて話します（HunterおよびSchmidt、2002を参照）。固定効果モデルは、すべての研究が同じ母集団効果を推定していることを前提としています。変量効果モデルでは、推定される母集団効果が研究によって異なると想定しています。通常、変量効果モデルがより適切です。

特定の関係に注目する研究が増えるにつれて、より洗練されたアプローチが可能になります。たとえば、知覚される品質などのさまざまなプロパティの観点からスタディをコード化し、効果のサイズがこれらのスタディの特性によって異なるかどうかを経験的に調べることができます。質を超えて、関係を緩和するであろう研究間にいくつかの理論的に関連する違いがあるかもしれません（例えば、サンプルの特徴、投与量レベルなど）。

一般的に、私は研究を信頼する傾向があります：

• より大きなサンプルサイズ
• より方法論的な厳密さ
• 確認オリエンテーション（たとえば、100の異なる栄養素と50の健康転帰との相関関係をテストした研究ではない）
• 利益相反がない（例：関係を示すことに商業的利害関係がある会社ではなく、有意な結果を見つけるインセンティブを持つ研究者ではない）

しかし、それは矛盾する研究結果のもっともらしい説明として、無作為抽出と研究間の理論的に意味のある差異を維持する必要があると述べた。

潜在的なバイアスまたはターゲット母集団の変動があるかどうかソースを精査するまで、メタ分析の検討は控えます。これらが治療効果の研究である場合、治療はランダムに割り当てられましたか？プロトコルからの逸脱はありましたか？違反はありましたか？不足している結果データはありますか？同じフレームからサンプルが抽出されましたか？参加の拒否はありましたか？実装エラー？標準誤差は正しく計算され、クラスタリングを説明し、さまざまなパラメトリック仮定に対してロバストでしたか？あなたがこれらの質問に答えた後でないと、メタ分析の問題が問題に入り始めないと思います。2つの研究について、英雄的な仮説を立てる意思がない限り、メタ分析が適切であることはまれです。