ゲルマンとカーリンを理解する「パワー計算を超えて：…」（2014）

GelmanとCarlinの「パワー計算を超えて：タイプS（符号）およびタイプM（マグニチュード）エラーの評価」（2014）を読んでいます。私は主なアイデア、主な理解を理解しようとしていますが、混乱しています。誰かが私に本質を蒸留するのを手伝ってくれる？

紙はこのようなものになります（私が正しく理解した場合）。

• 心理学の統計的研究は、しばしば小さなサンプルに悩まされます。
• 特定の研究における統計的に有意な結果を条件として、
  （1）真の効果サイズは大幅に過大評価される可能性が高く、
  （2）効果の符号は高い確率で反対になる可能性があります（サンプルサイズが十分に大きい場合を除く）。
• 上記は、母集団における効果サイズの以前の推測を使用して示され、その効果は通常小さいと見なされます。

私の最初の問題は、なぜ統計的に有意な結果の条件なのか、です。それは出版バイアスを反映することですか？しかし、そうではないようです。では、なぜでしょうか。

私の第二の問題は、私は自分自身を勉強をすれば、私は私がするために使用しています異なったよりも、私の結果を扱うべきである（I行うfrequentist統計、ベイズに精通していませんか）？たとえば、データのサンプルを取り、モデルを推定し、関心のある効果とその周りの信頼限界の点推定を記録します。私は今、自分の結果を不信にすべきですか？それとも統計的に有意である場合、それを誤解する必要がありますか？与えられた以前の変化はどうですか？

（1）統計調査の「プロ​​デューサー」にとって、および（2）応用統計論文の読者にとっての主な要点は何ですか？

参照：

• ゲルマン、アンドリュー、ジョンカーリン。「パワー計算を超えて：タイプS（符号）およびタイプM（マグニチュード）エラーの評価。」 心理学の展望 9.6（2014）：641-651。

PSここで私にとっての新しい要素は、以前の情報を含めることだと思います。これは、（頻繁なパラダイムから来た）処理方法がわかりません。

私はその論文をもう一度読みましたが、今回はそれがはるかに明確に思えます。@Glen_bと@amoebaによる有益なコメントも意味をなしています。

全体の議論は、統計的に有意な結果が得られたという出発点に基づいています。その上の条件は、我々はそれがコンディショニング不在になるとは異なる分散推定効果の大きさがあります： この論文は2つの問題を対象にしているようです：

1. 出版バイアス（統計的に有意な結果のみが発表されます）および
2. 新しい研究の設計計算のバイアス（予想される効果サイズがベンチマークとして大きすぎる）。

良いニュースは、両方の問題に満足のいく方法で対処できることです。

1. もっともらしい予想される効果サイズ与えられた場合、推定される効果サイズ（それが統計的に有意であったために公開されたと仮定し、それ以外の場合は公開されなかったと仮定）、推定標準誤差と推定量の分布族（例：NormalまたはStudent's）を使用すると、効果サイズの無条件分布をバックトラックできます。$\beta^{plausible}$$\hat\beta$$s.e.(\hat\beta)$$t$$P_{\hat\beta}(\cdot)$
2. 以前の調査結果を使用して、1の助けを借りて、もっともらしい効果サイズを決定し、研究デザインで使用できます。$\beta^{plausible}$

私自身の2つの質問に簡単に回答するには：

1. それは、データのしゅんせつという意味ではなく、力不足の研究との関連で、出版バイアスについてです。統計的に有意な結果は、たとえば、nullの下での5％の拒否に属している可能性があります（したがって、nullは実際にはtrueですが、偶然に、偶然にnullから遠く離れている）。 nullは真ではなく、結果は「本物」です。
2. 統計的に有意な結果は「本当の」効果（低電力のため）ではなく偶然によるものである可能性が高いため（たとえば、確率が5％に制限されている場合でも）、nullを拒否することに注意する必要があります。 。

この論文には、すでにベイジアン分析を適用していて、統計的有意性の部分を気にしない場合に役立つ別の角度があります。

仮定数量の後部CDFですあなたは推定に興味がある（効果の大きさ）。ベイズの状況では、表記法を自由に取り、確率密度関数について話すように切り替えれば、観測可能な量と純粋な事前分布に基づいた尤度関数が得られます。$P$$\beta$$V$$\beta$

ここで、はベクトル量である可能性が高く、最も単純なケースでは、通常の尤度項の積が生成され、対数項の合計に変わるなど、複数の独立した観測のベクトルです。そのベクトルの長さは、サンプルサイズのパラメーター化。他のモデルでは、がポアソンであるとすると、サンプルサイズのパラメーター化も表すポアソンパラメーターにまとめられる可能性があります。$V$$V$$p(V | \beta)$

次に、文献レビューまたはその他の手段に基づいて仮説を作成するとします。想定されるデータ生成プロセスをして、モデルが適切に指定され、場合にどのデータが表示されるかを表すシミュレーションを生成できます。は実際のエフェクトサイズです。$\beta^{plausible}$$P(V | \beta)$$\beta = \beta^{plausible}$$V$$\beta^{plausible}$

次に、何か愚かなことを行うことができます。振り向いて、サンプルが観測データであるように振る舞い、全体の後方からのサンプルの束を描きます。これらのサンプルから、論文で述べたように統計を計算できます。$V$$\beta$

リンクされた論文からの量、タイプSエラー、誇張率は、すでにほとんど同じことを表しています。その効果サイズについて、モデルの選択を前提として、これらはに対して選択されたサンプルサイズの特定のパラメーター、間違った符号の事後確率、および予想される（事後の）比率が効果サイズの間になることを通知しますのどの側面もサンプルサイズに関連して変化するため、モデルと想定される妥当な効果サイズによって生成されます。$V$$V$

最もトリッキーな部分は、事後の "パワー"を推定値が少なくとも仮想値同じである事後確率として解釈することです。これは、帰無仮説を棄却する能力の尺度ではありません。なぜなら、この確率のサイズは、頻度主義的な意味での重要な尺度として使用されないからです。$\beta$$\beta^{plausible}$

私は実際にそれを何と呼ぶか​​わかりませんが、実際にいくつかのアプリケーションを使用していて、研究デザインの理由として非常に役立つ測定基準があるということを除いてです。基本的に、提供する必要のあるデータ量を確認する方法をいくつか提供します（データが使用するプロセスから完全に生成されると仮定して）可能性と以前の形状に関する特定の仮定により、「十分に高い」結果が得られます。特定のサイズの影響の事後確率。$\beta^{plausible}$

これが実際に私にとって最も役立つのは、同じ一般モデルを異なるデータセットに繰り返し適用する必要がある状況ですが、データセット間の微妙な違いにより、以前の分布を変更したり、文献レビューの異なるサブセットを使用したりすることが正当化される場合があります。実用的な選択を決定し、さまざまなデータセットに対するこれらの調整の結果として、事後確率が自明ではない可能性のある非常に多くのデータが必要になる場合があるかどうかについて大まかな診断を取得します分布の右側に集中しています。$\beta^{plausible}$

この「検出力」の測定基準は、頻度主義の検出力の計算と同じであり、かなり難しいので、誰も誤用しないように注意する必要があります。ただし、これらのメトリックはすべて、モデリング手順全体がベイジアンであり、統計的有意性の結果を参照しない場合でも、前向きおよび後ろ向きの設計分析に非常に役立ちます。