統計ツールの不適切な使用による費用のかかる結果の例

統計ツールのほとんどのユーザーは、補助的なユーザー（統計に関する正式なトレーニングがほとんど、またはまったくなかった人々）であると思われます。研究者や他の専門家がデータに統計的手法を適用するのは非常に魅力的です。なぜなら、査読付き論文、灰色の文献、ウェブ、または会議でそれを「前に」見たからです。ただし、必要な仮定と統計ツールの制限を明確に理解せずにこれを行うと、誤った結果が生じる可能性があります。多くの場合、エラーは未確認です。

学部生（特に社会科学および自然科学）は、統計的な落とし穴に気付いていないか、これらの落とし穴が取るに足らないものであることがわかります（後者が最もよくあるケースです）。統計ツールの不適切な使用の例は多くの入門レベルのテキストブック、Web、またはStackExchangeで見つけることができますが、有害な結果をもたらした現実の例を見つけるのは困難です。そのために、統計手法の誤用を強調する実世界の例を探しています。

1. 使用される統計的手法は、通常、入門的な統計コース（つまり、推論統計、回帰など）でカバーされます。
2. 最終結果は、費用のかかる結果をもたらしました（ドルの損失、生活への影響、キャリアの粉砕など）
3. このデータは、コースの実例としてすぐに使用できます（目的は、学生に実世界の結果をもたらした実世界の実例を通して作業させることです）。

研究プロジェクトでユニットを適切に定義することの重要性を議論する際に学生に提示したい非統計的な例の1つは、1億2,500万ドルの衛星の損失につながった「メトリックミス」です。これは通常、学生からの：-o要因を呼び出し、永続的な印象を持っているように見えます（少なくとも彼らの短い学業期間を通して）。

データの入手可能性についてはわかりませんが、貧弱な統計の素晴らしい例は、閉経期の女性におけるホルモン補充療法（HRT）の有効性に関するハーバード看護師の研究です。

一般的な考え方は何ですか？看護師の研究では、HRTは閉経後の女性に有益であることが示唆されました。対照群は治療群とは非常に異なり、これらの違いは分析で考慮されなかったため、この結果が生じたことがわかります。その後のランダム化試験では、HRTは癌、心臓発作、脳卒中、血栓に関連しています。適切な修正により、看護師の研究はこれらのパターンも明らかにします。

HRTに関連する米国の死亡の推定値は見つかりませんが、その規模は数万人でした。1件の記事は、英国での1000人の死亡とHRTを関連付けています。

このNew York Times Magazineの記事は、研究に存在する交絡の問題の統計的な背景を提供します。

American Journal of Epidemiologyのこの号には学術的な議論があります。記事は、無作為化試験に基づいて、観察看護師の研究の結果を女性の健康イニシアチブの結果と比較しています。

バイオメトリクスの問題でも議論があります（同じ個人の多くによって）FreedmanとPetittiのコメントを参照してください[ prepub versionます。 ]。

素晴らしい歴史的例は、1933年に出版されたHorace Secristの「ビジネスにおける平凡の勝利」によって提供されています。当時、Secristは定評のある統計学者であり、教科書（1919年頃、私は覚えています）の著者であり、米国統計協会とのつながりがあり、ノースウェスタン大学の統計研究グループの責任者でした。彼と彼のスタッフは、過去10年間、時系列のビジネスデータを編集し、それを本で再現し、綿密に分析しました。それは野心的な統計学者によるシェフ・ドゥーブルになることを意図していました。

その年の後半にJASAに登場したハロルド・ホテリングの本のレビューは、Secristが平均への回帰の数百の例を文書化しただけであることを指摘しました（今日の入門統計コースの基本的なトピック、質問のポイント1）。Secristは公開された返信に反対しました。それに対するホテリングの反応は古典的です。

費用のかかる長期の数値研究によってそのような数学的結果を「証明」することは、行と列に象を配置し、他の多くの種類の動物に対して同じことをすることで乗算表を証明することに似ています。パフォーマンスは、おそらく面白くて、特定の教育的価値を持っていますが、動物学や数学にとって重要な貢献ではありません。

[JASA v。29＃186、1934年6月、p。199.]

Secristは、そのすぐ後の統計の場面から急速に衰退したようです（「キャリアが台無しになった」、質問の2番目のポイント）。彼の本はまだ入手可能です。（数年前、私はInterlibrary Loanを介して、すてきなきれいなコピー、明らかにほとんど読まれていないものを入手しました。）それから、任意の数のサンプルデータセットを抽出できます（質問のポイント＃3）。

スティーブンスティグラーは、この物語を本と論文、1933年の統計の歴史で詳述しています。

Wiredの 2008年の株式市場の暴落に対する見方は有益な例かもしれないと私には思えます。結論が正しいかどうかについてコメントすることはできませんが、代表的なサンプルではないデータに対して相関を使用するという考えは、あなたが提案する状況に適切なもののように思われます。それも最新のものであり、興味を持ち続けるかもしれません。

このTed Talkが興味深く、関連性があると思うかもしれません。

• http://www.ted.com/talks/ben_goldacre_battling_bad_science.html