外れ値の厳密な定義？

多くの場合、統計で異常値を扱うことについて話します。これについて私を悩ませているのは、私が知る限り、外れ値の定義は完全に主観的であるということです。たとえば、あるランダム変数の真の分布が非常に裾が大きく、または二峰性である場合、外れ値を検出するための標準の視覚化または要約統計は、サンプリングしたい分布の部分を誤って削除します。異常値が存在する場合、その異常値の厳密な定義とは何ですか？また、分析に不当な量の主観性を導入することなく、異常値にどのように対処できますか？

既知のプロパティを持つ既知の分布からデータが得られる限り、観察されたプロセスによって生成された可能性が低すぎるイベントとして外れ値を厳密に定義できます仮説検定はすべて）です。

ただし、このアプローチには2つのレベルで問題があります。データが既知のプロパティを持つ既知の分布からのものであると想定し、いくつかの魔法の妖精によってデータセットに密輸されたデータポイントとして外れ値が見られるリスクをもたらします。

魔法のデータフェアリーが存在しない場合、すべてのデータは実験から取得されるため、実際には外れ値を持つことはできず、奇妙な結果になります。これらは、記録エラー（たとえば、4ドルの寝室400,000ドル）、体系的な測定の問題（オブジェクトが境界に近すぎる場合、画像分析アルゴリズムが巨大な領域を報告する）実験の問題（時々、結晶が溶液から沈殿する、非常に高い信号を与える）、またはシステムの機能（セルは2つではなく3つに分割される場合があります）が、それらはまれであり研究を行っているため誰も考えたことのないメカニズムの結果である可能性がありますつまり、あなたがすることのいくつかは、単にまだ知られていないということです。

理想的には、すべての異常値を調査するために時間をかけ、モデルに適合しない理由を理解してからデータセットからそれを削除するだけです。理由は実験に大きく依存するという点で時間がかかり、主観的ですが、代替策はさらに悪いです：外れ値がどこから来たのかわからない場合は、外れ値に結果を「混乱」させるか、または、「数学的に厳密な」アプローチを定義して、理解不足を隠します。言い換えれば、「数学的な厳密さ」を追求することにより、あなたは重要な効果を得ないか天国に入らないかを選択します。

編集

すべてのデータがインライアーである分布を常に想定できるため、持っているのがそれらがどこから来たかを知らない数字のリストだけである場合、データポイントが外れ値であるかどうかを判断する方法はありません。

外れ値を削除することは主観的な演習のように見えるかもしれませんが、それが間違っているという意味ではありません。データ分析に関するすべての決定に対して常に厳密な数学的理由を持つ必要性は、とにかく主観的な運動であることが判明したことに対する単なる人工的な厳密さの薄いベールです。これは、遭遇するすべての状況に同じ数学的正当化を適用する場合に特に当てはまります。（すべてに対して防弾の明確な数学的な規則があれば、統計学者は必要ないでしょう。）

たとえば、ロングテール分布の状況では、外れ値を持つ関心のある分布を1つと、外れ値がそのうちの1つだけの一部である関心のある分布を2つ持つかどうかを数値から決定するだけの保証された方法はありません。または、天国ではなく、データの実際の配布だけを禁止しています。

収集するデータが多いほど、分布の低確率領域に多く入ります。20個のサンプルを収集する場合、zスコアが3.5の値を取得することはほとんどありません。10,000個のサンプルを収集する場合、サンプルを取得する可能性が高く、これは自然な分布の一部です。上記を考えると、それを除外するために極端なものがあるという理由だけで、どのように決定しますか？

分析のために一般的に最良の方法を選択することは、多くの場合主観的です。それが不当に主観的であるかどうかは、決定の説明と外れ値に依存します。

基盤となるプロセスのモデルがデータを生成することを想定せずに、外れ値を定義することは不可能だと思います。そのようなモデルがなければ、データが異常であるか「間違っている」かを判断するための基準枠がありません。私が有用だと思った外れ値の定義は、外れ値は、それ以外の場合はうまく機能するモデルに調整できない観測値であるということです。

ここには多くの優れた答えがあります。ただし、2つの質問が混同されていることを指摘したいと思います。1つ目は、「異常値とは何か」であり、より具体的にはそのような「厳密な定義」を提供することです。これは簡単です：

外れ値とは、学習対象のデータ/残りのデータとは異なる母集団/分布/データ生成プロセスに由来するデータポイントです。

2番目の質問は、「データポイントが外れ値であることをどのようにして知る/検出するか」です。残念ながら、これは非常に困難です。ただし、ここで示された回答（実際には非常に優れており、改善することはできません）は、そのタスクに非常に役立ちます。

定義1：すでに述べたように、同じプロセス（プロセスAなど）を反映するデータのグループの外れ値は、プロセスA の結果とは考えられない観測（または観測のセット）です。

この定義には、確かにプロセスAの尤度関数の推定（したがってモデル）が含まれ、ありそうにない意味の設定（つまり、停止する場所の決定...）が含まれます。この定義は私がここで答えた根源にあります。これは、有意性または適合度の仮説検定のアイデアに関連しています。

定義2外れ値は観測グループ観測であるため、特定のモデルで観測グループをモデル化する場合、を削除して個別に処理すると精度が高くなります（ここで言及するのは、混合で））。G $x$$G$$x$

この定義には、「与えられたモデル」と精度の尺度が含まれます。この定義は実際的な側面からのものであり、外れ値の起源にあると思います。Originでは、異常値の検出は堅牢な統計のためのツールでした。

最初の定義での尤度の計算にはスコアのモデリングと計算が含まれることを理解している場合、明らかにこれらの定義は非常に似たものにすることができます:)

外れ値は、このデータを生成するプロセスの現在の理解を考えると、私にとって不便なデータポイントです。

この定義はできる限り厳密であると思います。

すべての（2 ^ n -1）個の一意のサブセットで95％の信頼レベルで実施されたRUMテストに100％準拠することを保証するために、サイズnのデータセットから削除する必要がある要素の最小セットのメンバーとして外れ値を定義するデータ。RUMテストの定義については、Rを使用したPDFへのデータのフィッティングに関する2010年9月のKarianおよびDudewiczのテキストを参照してください。

外れ値は、頻繁な領域でのみ重要です。単一のデータポイントが、理論によって事前に決定された基礎となる分布によって定義されるバイアスをモデルに追加する場合、それはそのモデルの外れ値です。主観性は、理論が異なるモデルを仮定する場合、外れ値として異なるポイントのセットを持つことができるという事実にあります。