一貫性のある推定量と公平な推定量の違いは何ですか？

125

誰もこれをすでに尋ねていないように見えることに本当に驚いています...

推定量について議論するとき、頻繁に使用される2つの用語は「一貫性のある」と「不偏」です。私の質問は簡単です：違いは何ですか？

これらの用語の正確な技術的定義はかなり複雑であり、その意味を直感的に理解することは困難です。良い評価者と悪い評価者を想像できますが、どの評価者がどのように一方の条件を満たし、もう一方の条件を満たさないかを見るのに苦労しています。

unbiased-estimator estimators consistency

— MathematicalOrchid
ソース

一貫性のある推定量に関するウィキペディアの記事の最初の図を見ましたか？

— whuber

私は一貫性と偏見の両方について記事を読みましたが、それでもその違いを本当に理解していません。（あなたが参照する図は、推定量は一貫しているが偏っていると主張しているが、理由を説明していない。）

— MathematicalOrchid

説明のどの部分で助けが必要ですか？キャプションは、シーケンス内の各推定量にバイアスがかかっていることを示し、シーケンスが一貫している理由も説明しています。これらの推定量のバイアスが図からどのように明らかであるかの説明が必要ですか？

— whuber

+1これらの回答の1つに続くコメントスレッドは、主題について明らかにすることと、オンラインコミュニティが誤解を公開して修正する方法の興味深い例の両方について、非常に啓発的です。

— whuber

関連： stats.stackexchange.com/questions/173152/...

— はKjetil BはHalvorsenの

回答:

126

専門用語を使いすぎずに2つの用語を定義するには：

推定量は、サンプルサイズが増加するにつれて、推定量（推定量によって生成される）が推定されるパラメーターの真の値に「収束」する場合に一貫性があります。わずかに正確であること-一貫性とは、サンプルサイズが増加するにつれて、推定器のサンプリング分布が真のパラメーター値にますます集中することを意味します。
推定器は、平均して、真のパラメーター値に到達した場合、不偏です。つまり、推定器のサンプリング分布の平均は、真のパラメーター値に等しくなります。
2つは同等ではありません。不偏は、推定量のサンプリング分布の期待値に関する記述です。一貫性とは、サンプルサイズが大きくなるにつれて、「推定量のサンプリング分布がどこに向かうのか」に関する記述です。

確かに、1つの条件が満たされることは可能ですが、他の条件は満たされません。2つの例を挙げます。両方の例については、サンプルを検討から人口。 $X_1, ..., X_n$ $N(\mu, \sigma^2)$

偏りはないが一貫性がない：推定しているとします。次いで、の不偏推定量であるので、。しかし、 $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ その分布が周りより濃厚になっていませんので、一貫性がありませんサンプルサイズが大きくなるにつれて-それはいつもだ！ $X_1$ $\mu$ $N(\mu, \sigma^2)$
一貫しているが偏りがない：推定していると仮定します。最尤推定量は、 $\sigma^2$ ここで、平均サンプルです。それは事実である
${\hat{σ}}^{2} = \frac{1}{n} \sum_{私 = 1}^{n} （ {バツ}_{私} - \bar{バツ} ）^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ 情報を用いて導出することができ、ここ。したがって、任意の有限サンプルサイズのためにバイアスされています。我々はまた、容易にすることを導き出すことができる $E （ {\hat{σ}}^{2} ） = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ これらの事実から、我々は、非公式の流通ことがわかりますで、ますます濃厚になってきている $v a r （ {\hat{σ}}^{2} ） = \frac{2 σ^{4} （ n - 1 ）}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ $\sigma^2$ 平均が収束するようにされているので、サンプルサイズが増加するにつれて、及び分散がに収束される。（注：これは、ここでの回答で使用されたものと同じ引数を使用して、一貫性の証拠を構成します） $\sigma^2$ $0$

— 大きい
ソース

（+1）ただし、すべてのMLEが一貫しているわけではありません。一般的な結果は、MLEのシーケンスに一貫したサブシーケンスが存在することです。適切な一貫性を確保するには、識別可能性などのいくつかの追加要件が必要です。一貫性のないMLEの例は、特定の変数内エラーモデル（「最大」がサドルポイントであることが判明したモデル）で見つかります。

— MånsT

さて、私が述べたEIV MLEは、おそらく良い例ではありません。尤度関数には制限がなく、最大値も存在しないからです。MLアプローチが失敗する方法の良い例です:)申し訳ありませんが、今は関連リンクを提供できません-私は休暇中です。

— MånsT

ありがとう@MånsT。必要な条件はリンクで概説されましたが、それは文言から明らかではありませんでした。

— マクロ

σ^{2}

$\sigma^2$

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

推定器の一貫性とは、サンプルサイズが大きくなると、推定値がパラメーターの真の値にますます近づくことを意味します。不偏は、サンプルサイズの増加による影響を受けない有限のサンプルプロパティです。予想値が真のパラメーター値に等しい場合、推定値は不偏です。これはすべてのサンプルサイズに当てはまり、正確です。一方、一貫性は漸近的であり、ほぼ等しく、正確ではありません。

$n$

@cardinalおよび@Macroを使用したコメントの議論に続いて更新します。以下で説明するように、推定値が強く整合するために分散が0になる必要はなく、偏りが0になる必要さえない明らかな病理学的ケースがあります0のいずれか。

— マイケル・チャーニック
ソース

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

n

$n$

マイケル、あなたの答えの本文はかなり良いです。混乱はあなたの最初のコメントによってもたらされたと思います。それは明らかに虚偽であり、潜在的な混乱のポイントである2つのステートメントを導きます。（実際、多くの学生は、異なる収束モードとその意味の間の不十分な描写による正確にこれらの誤解で入門大学院統計クラスから立ち去ります。あなたの最後のコメントは少し厳しい側に取られるかもしれません。）

— 枢機

残念ながら、最初のコメントの最初の2つの文と2番目のコメント全体が間違っています。しかし、これらの事実をさらに説得しようとするのは実りがないと思います。

— 枢機

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$

-5

一貫性：前に非常によく説明されています（サンプルサイズが増加するにつれて、推定値（推定器によって生成された）が推定されるパラメーターの真の値に「収束」します）

不偏性：ガウスマルコフ定理として知られる1〜5のMLR仮定を満たします。

線形性、
無作為抽出
ゼロ条件付き平均エラー期待値
完全な共線性はありません
同相性

その場合、推定量はBLUE（最高の線形不偏推定量

— ニコリーナ・ラングラ
ソース