一般的な統計上の罪とは何ですか？

私は心理学の大学院生であり、統計学でますます独立した研究を進めるにつれて、正式な訓練が不十分であることにますます驚いています。個人的な経験と中古の経験の両方は、学部および大学院の訓練における統計的厳密性の不足が心理学のどこにでもあることを示唆しています。そのため、私のような独立した学習者にとっては、「統計的罪」のリストを作成し、卒業生に標準的な実践として教えられた統計的実践を表にし、実際には優れた（より強力な、または柔軟な、または堅牢な、など）現代の方法または率直に無効であることが示されています。他の分野でも同様の状況が発生する可能性があることを予想して、分野間の統計的な罪のリストを収集できるコミュニティwikiを提案します。

データを見ない（プロットする）こと。

p値のほとんどの解釈は罪深いです！p値の従来の使用法にはひどい欠陥があります。私の意見では、仮説検定と有意性検定の教育への標準的なアプローチを疑問視しているという事実。

ハラーとクラウスは、統計インストラクターは学生と同じくらいp値を誤解する可能性が高いことを発見しました。（彼らの論文でテストを受けて、あなたがどうするかを見てください。）Steve Goodmanは、尤度を支持してp値の従来の（誤った）使用を破棄する良いケースを作ります。ハバードの論文も一見の価値があります。

ハラーとクラウス。重要な誤解：生徒が教師と共有する問題。Methods of Psychological Research（2002）vol。7（1）1-20ページ（PDF）

ハバードとバヤリ。古典統計的検定における証拠の対策（Pさん）対エラー（α年代）の混乱。The American Statistician（2003）vol。57（3）

良い男。証拠に基づく医療統計に向けて。1：P値の誤り。Ann Intern Med（1999）vol。130（12）pp。995-1004（PDF）

以下も参照してください。

Wagenmakers、EJ。p値の一般的な問題に対する実用的な解決策。Psychonomic Bulletin＆Review、14（5）、779-804。

p値の名目上「正しい」解釈でさえ、実験者の選択により不正確にされたいくつかの明確なケースの場合。

更新（2016）：2016年、米国統計協会はp値に関する声明を発表しました。こちらをご覧ください。これは、ある意味で、心理学ジャーナルが約1年前に発行した「p値の禁止」への対応でした。

予測モデルで作業しているときに遭遇した最も危険なトラップは、テストデータセットを「最終的な」パフォーマンス評価専用にするために早期に予約しないことです。

パラメーターの調整、事前選択、学習アルゴリズム停止基準の選択の際にテストデータを何らかの方法で使用する機会がある場合、モデルの予測精度を過大評価するのは本当に簡単です...

この問題を回避するには、新しいデータセットで作業を開始する前に、データを次のように分割する必要があります。

• 開発セット
• 評価セット

次に、開発セットを「トレーニング開発セット」と「テスト開発セット」に分割し、トレーニング開発セットを使用してさまざまなパラメーターでさまざまなモデルをトレーニングし、テスト開発セットのパフォーマンスに応じてベストを選択します。クロス検証を使用してグリッド検索を実行することもできますが、開発セットでのみです。モデルの選択が100％完了していない間は、評価セットを使用しないでください。

モデルの選択とパラメーターに確信が持てたら、選択したモデルの「実際の」予測精度を把握するために、評価セットで10倍の交差検証を実行します。

また、データが一時的なものである場合は、タイムコードで開発/評価の分割を選択するのが最適です。「予測するのは難しい-特に将来について」。

統計（仮説検定）の代わりにデータマイニング（仮説発見）を行ったときにp値を報告します。

仮説のテスト対H 1：μ ≠ 0 （ガウス設定など）$H_0: \mu=0$$H_1: \mu\neq 0$

モデル内のを正当化する（つまり、「H 0は拒否されない」と「H 0は真」を混合する）。$\mu=0$$H_0$$H_0$

そのタイプの（非常に悪い）推論の非常に良い例は、2つのガウスの分散が等しいかどうかをテストする前に、それらの平均が等しいかどうかを仮定して分散が等しいかどうかをテストする場合です。

別の例は、正規性を正当化するために正規性をテストする場合（非正規性に対して）に発生します。すべての統計学者は、それが人生であることをしましたか？それはbaaadです:)（そして、非ガウス性に対する堅牢性をチェックするように人々をプッシュする必要があります）

気になるいくつかの間違い：

1. 偏りのない推定量は、偏りのある推定量よりも常に優れていると仮定します。

2. $R^2$$R^2$

3. 相関の解釈/適用が正しくありません。

4. 標準誤差のないレポートポイントの見積もり。

5. より堅牢でパフォーマンスの良いノン/セミパラメトリックメソッドが利用可能な場合、ある種の多変量正規性（線形判別分析など）を想定したメソッドを使用します。

6. 何らかの関係がある証拠の量の尺度としてではなく、予測変数と応答の間の強度の尺度としてp値を使用します。

分析を「単純化」するか、連続予測子の効果の非線形性の「問題」を解決するための連続予測子変数の二分法。

本当に質問に答えているわけではありませんが、このテーマに関する本全体があります。

フィリップI.グッド、ジェームズウィリアムハーディン（2003）。統計の一般的なエラー（およびそれらを回避する方法）。ワイリー。ISBN 9780471460688

ベイズの定理を適用Probability(data | hypothesis)しProbability(hypothesis | data)ないと解釈する。

儀式化された統計。

この「罪」は、その妥当性に関係なく、教えられたことを適用することです。なぜなら、それは物事が行われる方法だからです。それは、機械があなたのためにあなたの統計を選択することを可能にする1つ上のレベルの暗記による統計です。

例は、控えめなt検定とANOVAツールキットにすべてを適合させようとする統計レベルの学生の入門です。または、または、質問されていることを考慮してください。

この罪のバリエーションには、理解できないコードを使用して、自分だけが理解できる出力を生成することが含まれますが、「5番目の列、約8行下」または探している答えは何でも知っています。

多分、モデル選択後の段階的回帰やその他の形式のテストです。

既存の関係の背後にアプリオリな仮説を持たずにモデリングのために独立変数を選択すると、他の間違いの中でも論理的な誤aや偽の相関関係が生じる可能性があります。

有用な参考文献（生物学的/生物統計学的観点から）：

1. Kozak、M.、＆Azevedo、R.（2011）。段階的な変数選択を使用してシーケンシャルパス分析モデルを構築することは意味がありますか？Physiologia plantarum、141（3）、197–200。doi：10.1111 / j.1399-3054.2010.01431.x

2. Whittingham、MJ、Stephens、P.、Bradbury、RB、およびFreckleton、RP（2006）。なぜ生態学と行動に段階的なモデリングを使用するのですか？Journal of animal ecology、75（5）、1182–9。doi：10.1111 / j.1365-2656.2006.01141.x

3. Frank Harrell、Regression Modeling Strategies、Springer 2001。

会議の論文や雑誌で驚くほどの量が見られるのは、複数の比較（たとえば、2変量相関）を行ってから、すべてのp <.05を「有意」として報告することです（現時点ではその正誤を無視します）。

心理学の卒業生についてあなたが何を言っているか知っています。心理学の博士号を取得しましたが、まだ本当に勉強しているだけです。それはかなり悪いです、私たちがそれを使うつもりなら、心理学は定量的データ分析をより真剣に受け止める必要があると思います（明らかに、そうすべきです）

探索的であるが、確証的なふりをしている。これは、分析戦略（モデルの適合、変数選択など）をデータ駆動型または結果駆動型に変更しているが、これを公然と述べておらず、「最良」（つまり最小のp値）結果のみを報告する場合に発生する可能性があります唯一の分析でした。これは、Chris Beeleyが行った複数のテストが科学レポートで高い偽陽性率をもたらす場合にも関係します。

私が非常に頻繁に見て、常にギアを磨くのは、あるグループの統計的に重要な主効果と別のグループの統計的に重要でない主効果が重要な効果xグループ相互作用を意味するという仮定です。

特に疫学と公衆衛生では、関連の相対的測定値（ハザード比、オッズ比またはリスク比）のグラフを報告する際に対数目盛の代わりに算術を使用します。

詳細はこちら。

相関は因果関係を意味しますが、これは帰無仮説を受け入れるほど悪くはありません。

ANOVAを使用したレートデータ（精度など）の分析。これにより、レートデータが実際に二項分布しているときに、ガウス分布誤差があると仮定します。 Dixon（2008）は、この罪の結果についての議論と、より適切な分析アプローチの調査を提供しています。

現在よく使用されているのは、効果の分散にのみ関連する場合、反復測定デザインの未加工のパフォーマンス値の周りに95％の信頼区間をプロットすることです。たとえば、信頼区間を持つ反復測定計画の反応時間のプロットでは、誤差項は反復測定ANOVAのMSEから導出されます。これらの信頼区間は、賢明なものを表すものではありません。絶対的な反応時間については何も表明していません。エラー項を使用して、効果に関する信頼区間を生成できますが、ほとんど行われません。

マイケルルーの言うことの多くに関連することができますが、尤度比を優先してp値を放棄すると、結果の実質的な意味を与えるために必要な効果のサイズよりも確率的な結果を強調するという、より一般的な問題を見逃します。このタイプのエラーはすべての形状とサイズで発生し、最も陰湿な統計上の間違いであることがわかりました。J.コーエンとM.オークスなどを参考にして、これに関する記事をhttp://integrativestatistics.com/insidious.htmで書いています。

エラーが正規分布し、治療間で一定の分散があるという仮定をテストしない。これらの仮定は常にテストされるとは限らないため、実際には不適切な場合に最小二乗モデルのフィッティングがおそらく使用されます。

学部生の私のイントロサイコメトリックスコースでは、少なくとも2週間かけて段階的回帰の実行方法を教えました。段階的回帰が良いアイデアである状況はありますか？

私の古い統計の教授には、外れ値を処理するための「経験則」がありました。散布図に外れ値が見られる場合は、親指で隠してください:)

これはあなたが探しているものよりもポップ統計の答えの方が多いかもしれませんが、

データが非常に歪んでいる場合に、位置の指標として平均を使用します。

あなたとあなたの聴衆があなたが話していることを知っていれば、これは必ずしも問題ではありませんが、これは一般的にそうではなく、中央値は多くの場合、何が起こっているかをよりよく理解する可能性があります。

私のお気に入りの例は平均賃金であり、これは通常「平均賃金」として報告されます。国の所得/富の不平等に応じて、これは賃金の中央値とは大きく異なる可能性があり、人々が実際の生活のどこにいるかについてより良い指標を提供します。たとえば、オーストラリアでは、不平等が比較的低いため、中央値は平均よりも10〜15％低くなっています。米国では、差ははるかに大きく、中央値は平均の70％未満であり、ギャップは拡大しています。

「平均」（平均）賃金について報告すると、正当なレベルよりも真っ赤な絵になり、また、多くの人々に「普通の」人々ほど稼いでいないという誤った印象を与える可能性があります。

p値は帰無仮説が真である確率であり、（1-p）は対立仮説が真である確率であり、帰無仮説を棄却できないということは、対立仮説が偽などであることを意味します。

@dirkanと同様の方法-帰無仮説が真であることの証拠の正式な尺度としてのp値の使用。いくつかの優れたヒューリスティックで直感的に優れた機能がありますが、対立仮説を参照していないため、本質的に証拠の不完全な尺度です。データがnullの下ではありそうにない（小さなp値につながる）一方で、データは対立仮説の下ではさらにありそうにない場合があります。

$\rightarrow$$\rightarrow$

相対的な頻度を示すために円グラフを使用します。詳細はこちら。

仮説検定で統計/確率を使用して、「絶対的な真実」を測定します。統計は単にこれを行うことはできません。それらは、統計パラダイムの「外部」から指定する必要がある代替案の決定にのみ使用できます。「帰無仮説は統計によって真であることが証明されている」などの文は、単に間違っています。統計は、「対立仮説と比較して、帰無仮説がデータによって支持されている」ことしかわかりません。その後、帰無仮説または代替案のいずれかが真でなければならないと仮定した場合、「帰無は真である」と言うことができますが、これはデータによって示されるものではなく、仮定の些細な結果にすぎません。

$\alpha = 0.05$

@ogriselの回答と同様（またはほぼ同じ）で、グリッド検索を実行し、最良の結果のみを報告します。

（少し運が良ければ、これは議論の余地があるでしょう。）

科学実験の統計分析へのネイマンピアソンアプローチの使用。または、さらに悪いことに、Neyman-PearsonとFisherの不明確なハイブリッドを使用します。

フローチャートのリクエストと取得：変数のレベルと探している関係の種類を言い、矢印に従ってブランド名テストまたはブランド名統計を取得するグラフィカルなもの。神秘的な「パラメトリック」パスと「ノンパラメトリック」パスで提供されることもあります。