ある推定量の別の推定量に対する相対的優位性を評価するために、平均二乗誤差が使用されていますか？

13

いくつかのパラメーターに対して2つの推定器およびがあるとします。どの推定量が「より良い」かを判断するために、MSE（平均二乗誤差）を調べますか？つまり、を見てください。ここでは推定量のバイアスで、は推定量の分散ですか？どちらが大きいMSEを持っているのが悪い推定器ですか？ $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— ダミアン
ソース

10

2つの競合する推定器およびがある場合、は、がより良い推定量は、「最高」の定義に完全に依存します。たとえば、偏りのない推定器を比較し、「より良い」とは分散が小さいことを意味する場合、はい、これはがより良いことを意味します。は、最小二乗法およびガウスの対数尤度との関係から一般的な基準ですが、多くの統計基準と同様に、使用には注意が必要です $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$

M S E

$\rm MSE$ アプリケーションに注意を払うことなく、推定器の品質の尺度として盲目的に。

を最小化するために推定量を選択することは、特に賢明なことではない場合があります。2つのシナリオが思い浮かびます。 ${\rm MSE}$

データセットに非常に大きな外れ値がある場合、MSEに大きな影響を与える可能性があるため、MSEを最小化する推定量はそのような外れ値の影響を過度に受ける可能性があります。このような状況では、エスティメータがMSEを最小化するという事実は、外れ値を削除すると、大きく異なる推定値を取得できるため、実際にはあまりわかりません。その意味で、MSEは外れ値に対して「堅牢」ではありません。回帰のコンテキストでは、この事実がHuber M-Estimator（この回答で説明します）の動機となり、ロングテールエラーがある場合に異なる基準関数（二乗誤差と絶対誤差の混合）を最小化します。。
制限されたパラメーターを推定する場合、比較することは適切ではない場合があります。これは、その場合に過大評価と過小評価のペナルティが異なるためです。たとえば、分散推定するとします。次に、意識的にが最大でになる量を過小評価すると、過大評価によりをはるかに超えるが生成される可能性があります。 $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

これらの欠点をより明確にするために、これらの問題のためにが推定器の品質の適切な尺度ではない場合の具体例を示します。 $\rm MSE$

自由度の分布からサンプルがあり、分散を推定しようとしているとします。これは $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$ です。2つの競合する推定量を考える及び

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

明らか

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

、それは事実である

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

このスレッドで説明されている事実と

分布のプロパティを使用して導き出すことができます。点でこのようナイーブ推定器よりも優れに関わらずいつでもサンプルサイズの、むしろ当惑されます。また、

M S E （ {\hat{θ}}_{1} ） = {\begin{cases} \infty & もし ν \leq 4 \\ \frac{ν^{2}}{（ ν - 2 ）^{2}} （ \frac{2}{n - 1} + \frac{6}{n （ ν - 4 ）} ） & もし ν > 4 。 \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$

t

$t$ $\rm MSE$ $\nu < 4$

が、これは、非常に小さいサンプルサイズにのみ関連します。上記の理由の長い尾の性質の起こる

作る自由の小さな度の分布、

非常に大きな値としがち

一方で、過大評価のために重く処罰

、この問題はありません。

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$

$\rm MSE$ $\rm MSE$ $\hat \theta$

S （ \hat{θ} ） = \frac{\hat{θ}}{ν / （ ν - 2 ）} - 1 - ログ （ \frac{\hat{θ}}{ν / （ ν - 2 ）} ）

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

$S(\hat \theta_1)=\infty$

— 大きい
ソース

（+1）良い議論。公平を期すために、他の基準（他の損失関数）に対しても同様に、同様の議論ができることを指摘する必要があります。

— MånsT

2

通常、推定損失とパラメーターをプロットするリスク関数を調べることにより、推定量を評価します。ここで、パラメータを修正することにより、誤解を招く分析を作成した可能性があります。結局のところ、愚かな（一定の、データを無視する）推定量が非常に低い予想損失を生成する可能性があるのは、常にそうです。正しいパラメーターに等しく設定するだけです！これは、シミュレーションがここで実際に何を示しているのか疑問に思います。

— whuber

@whuber、この答えを修正して、例を分析的に示したので、おそらくより明確になりました。また、より適切な代替の損失関数も提供しました。

— マクロ

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
ソース

2

$f(x) = x^2$

$f(x) = |x|$

エラー条件が正規分布している場合、MSEはおそらく適切な選択です。テールが太い場合は、絶対値などのより堅牢な選択が望ましいです。

— アプロコピウ
ソース

0

In Case＆Berger Statistics Inference第2版332ページでは、MSEが過大評価と過小評価に対して等しくペナルティを課すと述べていますが、ロケーションの場合は問題ありません。ただし、スケールの場合、0は自然な下限であるため、推定問題は対称的ではありません。この場合のMSEの使用は、過小評価を容認する傾向があります。

どの推定器がUMVUEプロパティを満たしているか、つまりCramer-Raoの下限を使用することを確認したい場合があります。ページ341。

— Tu.2
ソース