偏りのない最尤推定量は常に最良の偏りのない推定量ですか？

22

規則的な問題については、最良の正規の不偏推定量があれば、それは最尤推定量（MLE）でなければなりません。しかし、一般に、偏りのないMLEがある場合、それは最良の偏りのない推定量にもなります（または、分散が最小である限り、UMVUEと呼ぶべきでしょうか）。

mathematical-statistics maximum-likelihood unbiased-estimator

— ゲイリー・チェン
ソース

3

興味深い質問。MLEは十分な統計の関数であり、UMVUEは完全かつ十分な統計を調整することで取得できます。したがって、MLEが不偏（および十分な統計の関数）である場合、最小の分散を持たない唯一の方法は、十分な統計が完全でない場合です。私は例を見つけようとしましたが、失敗しました。

— グリーンパーカー

2

そして、ここに十分かつ完全な統計に関する簡単な情報があります。

— リチャードハーディ

10

本当の問題は、MLEはほとんど公平であることがより次の場合の不偏推定量であるとのMLE、のMLEであるが、ほとんどのためにバイアスされています全単射変換。

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— 西安

1

これは関連していますか？「人口平均のほぼ公平な推定値」Vyas Dubey Pt.Ravishankar Shukla University、Raipur、インド

2

西安のコメントに+1。最高の推定量は最小の分散を意味し、不偏は他の何かを意味します。だから、一方がもう一方とはほとんど関係がないので、それを証明しようと始めることができるかどうかはわかりません。しかし、私自身の派生を始める前に、（試してみる）証明に真剣な努力をしたいと思います。最初の声明（MLEは特定の場合に最適です）の証明でさえ、些細なことではないと思います。

— 天使

13

私の意見では、問題は、最尤推定量であるという理由だけであれば可能性の最大化と不偏が、仲良くしていないという点で、真のコヒーレントでないequivariant推定の変換、すなわち、パラメータの変換中の推定量であります不偏性は、非線形変換の下にはありません。したがって、可能性のあるすべてのパラメーター化の範囲で「ほぼ」が考慮される場合、最尤推定量はほとんど公平ではありません。

しかし、質問へのより直接的な答えがある：通常の分散の推定を検討する際に、、のUMVUEある MLE はエルゴ、違います。これは、 $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

最高の正規の不偏推定量がある場合、それは最尤推定量（MLE）でなければなりません。

一般的には成り立ちません。

さらに、パラメータ不偏推定量が存在する場合でも、最良の不偏最小分散推定量（UNMVUE）は必ずしも存在しないことに注意してください。 $\theta$

— 西安
ソース

偏りのないMLEは（U）MVUEであると言えますが、すべての（U）MVUEがMLEであるとは限りません。

— セクストスエンピリカス

2

いいえ、これが一般的に真実であると信じる理由はありません。

— 西安

13

しかし、一般に、偏りのないMLEがある場合、それは最良の偏りのない推定量にもなりますか？

完全に十分な統計がある場合、yes。

証明：

Lehmann–Schefféの定理：完全な十分な統計量の関数である不偏推定量が最適です（UMVUE）。
MLEは、十分な統計の関数です。ここの 4.2.3を参照してください。

したがって、完全に十分な統計が存在する限り、偏りのないMLEが最適です。

しかし、実際には、完全な十分な統計はほとんど存在しないため、この結果にはほとんど適用されません。これは、完全に十分な統計が（本質的に）存在するのは、MLEが最も頻繁にバイアスされる指数ファミリ（ガウス分布の位置パラメータを除く）についてのみであるためです。

だから本当の答えは実際にはノーです。

一般的なカウンターの例を与えることができます：0を中心に対称な（尤度）を持つロケーションファミリ）。サンプルサイズでは、次のことが成り立ちます。 $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLEは公平です
ピットマンの等変推定量として知られる別の不偏推定量が支配的です

ほとんどの場合、支配は厳格であるため、MLEは認められません。がコーシーのときに証明されたが、それは一般的な事実だと思う。したがって、MLEをUMVUにすることはできません。実際、これらの家族にとっては、穏やかな条件ではUMVUEは決してないことが知られています。この質問では、例を参考文献といくつかの証拠とともに検討しました。 $p$

— ブノワ・サンチェス
ソース

なぜこれに最高の賛成票がないのですか？この答えは、西安よりも優れていると感じました。

— レッドフロイド

0

MLEの漸近分散はUMVUEです。つまり、クレイマーラオの下限に達しますが、推定量がUMVUEであることを確認するための有限分散はUMVUEではない場合があります。

— セルハット・シムセック
ソース

0

要するに、推定値は、偏りがなく、完全で十分な統計量の関数である場合、UMVUEです。（Rao-BlackwellおよびScheffeを参照）

— creutzml
ソース

つまり、これは指数関数族に限定されます。

— 西安