「RMSEの2.5倍」に基づく外れ値の削除

でカーネマンとDeaton（2010）†$^\dagger$、著者は次のように記述します。

この回帰により、分散の37％が説明され、二乗平均平方根誤差（RMSE）は0.67852です。外れ値と妥当でない収入レポートを排除するために、ログ収入とその予測の差の絶対値がRMSEの2.5倍を超える観測値を削除しました。

これは一般的な慣習ですか？そうすることの背後にある直感は何ですか？そもそも明確に指定されていない可能性のあるモデルに基づいて外れ値を定義することは、やや奇妙に思えます。外れ値の決定は、モデルが実際の値をどれだけうまく予測するのではなく、もっともらしい値を構成するもののいくつかの理論的根拠に基づいてはいけませんか？

$\dagger$：Daniel Kahneman、Angus Deaton（2010）：高収入は人生の評価を改善しますが、感情的な幸福は改善しません。_{^{全米科学アカデミーの論文集2010年9月、107（38）16489-16493; DOI：10.1073 / pnas.1011492107}}

このデータを削除する理由は、引用ですぐに述べられています。つまり、「外れ値と信じがたい収入報告を排除する」ためです。これらの両方を併せて参照するという事実は、少なくとも一部の外れ値は信じられない値ではないことを認めていることを意味し、いずれにしても、高い残差を持つ値が「信じられない」と見なされるべき理由についての議論を与えません「収入値。これを行うことで、残差が回帰モデルで予想されるものよりも高いため、データポイントを効果的に削除しています。ここで別の答えで述べたように、これは現実をモデルの前提に適合させること、およびそれらの前提に準拠していない現実の部分を無視することに相当します。

これが一般的な習慣であるかどうかにかかわらず、それはひどい習慣です。これは、周辺のデータポイントを扱うのが難しく、アナリストがそれらを適切にモデル化することを望まないために発生します（たとえば、エラー用語でより尖度の高いモデルを使用することにより）。統計モデリングを行う能力に適合します。この方法は統計的に望ましくなく、エラー用語の分散と尖度を体系的に過小評価する推論につながります。この論文の著者は、これらの外れ値の削除により、データの3.22％を落としたと報告しています（p。16490）。これらのデータポイントのほとんどは非常に高い収入だったので、これは彼らの論文の目標である高収入の効果について堅固な結論を下す能力に大きな疑問を投げかけています。