標準偏差を使用した外れ値の検出

ここでの質問に続いて、外れ値を検出するための標準偏差の使用について、または反対の強い見解があるのではないかと考えています（たとえば、2標準偏差を超えるデータポイントは外れ値です）。

これは研究の文脈に依存していることを知っています。例えば、データポイントの48kgは確かに赤ちゃんの体重の研究では外れ値になりますが、大人の体重の研究ではそうではありません。

外れ値は、データ入力ミスなどの多くの要因の結果です。私の場合、これらのプロセスは堅牢です。

私が尋ねている質問は、標準偏差を使用して外れ値を検出するための適切な方法ですか？

一部の外れ値は明らかに不可能です。赤ちゃんの体重は48 kgと言います。これは明らかにエラーです。それは統計的な問題ではなく、実質的な問題です。48 kgの人間の赤ちゃんはいません。どんな統計的方法でもそのような点を特定します。

個人的には、テスト（@Michaelが推奨する適切なテストでさえ）に依存するのではなく、データをグラフ化します。特定のデータ値（または複数の値）がある仮説分布の下でありそうもないことを示すことは、値が間違っていることを意味しないため、値が極端だからといって自動的に削除されるべきではありません。

さらに、提案するルール（平均から2 SD）は、コンピューターが作業を簡単にする前の時代に使用されていた古いルールです。Nが100,000である場合、完全な正規分布がある場合でも、平均から2 SDを超えるかなりの数の値が確実に期待されます。

しかし、分布が間違っている場合はどうでしょうか？人口では、問題の変数は正規分布ではなく、それよりも重い裾があると仮定しますか？

はい。ウルティエを「検出」するのは悪い方法です。正規分布データの場合、このようなメソッドは、完全に良好な（まだ少し極端な）観測の5％を「外れ値」と呼びます。また、サイズnのサンプルがあり、非常に高いまたは低い観測値を探してそれらを外れ値と呼ぶ場合、実際には極端な順序の統計値を見ています。正規分布サンプルの最大値と最小値は、正規分布ではありません。したがって、テストは極値の分布に基づいている必要があります。これは、以前に何度か言及したように、GrubbsのテストとDixonの比率テストが行​​うことです。外れ値に適切なテストを使用する場合でも、異常に極端であるという理由だけで、観測を拒否するべきではありません。極端な観測が最初に発生した理由を調査する必要があります。

外れ値の可能性がある平均からの標準偏差の数を尋ねるとき、外れ値自体がSDを上げ、平均値にも影響することを忘れないでください。N個の値がある場合、平均からの距離をSDで割った比が（N-1）/ sqrt（N）を超えることはありません。もちろん、これは小さなサンプルで最も重要です。たとえば、N = 3の場合、外れ値が平均から1.155 * SDを超えることはないため、値が平均から2 SDを超えることは不可能です。（もちろん、これは手元のデータからサンプルSDを計算しており、母集団SDを知る理論的な理由がないことを前提としています）。

Grubbsテストの臨界値は、これを考慮して計算されたため、サンプルサイズに依存します。

コンテキストがすべてだと思います。与えられた例では、明らかに48 kgの赤ちゃんは間違いであり、2つの標準偏差を使用するとこのケースをキャッチします。ただし、2つの標準偏差（またはSDの他の倍数）の使用が他のデータに適していると考える理由はありません。たとえば、地表水中の残留農薬を調べている場合、2標準偏差を超えるデータはかなり一般的です。これらの特に高い値は、雨のイベント、最近の農薬散布などによるものであるため、平均から遠く離れていても「外れ値」ではありません。もちろん、他の「経験則」（1.5× SD、または3.1415927×SD？）、しかし、率直に言って、このようなルールは防御するのが難しく、それらの成功または失敗は、調べているデータによって変わります。主観性にもかかわらず、判断と論理を使用すると思います。任意のルールを使用するよりも、外れ値を取り除くためのより良い方法です。この場合、48 kgの異常値を検出するために2×SDは必要ありませんでした-推論することができました。それは優れた方法ではありませんか？あなたがそれを推論することができない場合、まあ、任意のルールはより良いですか？