MLEが平均のバイアス推定値を生成する例はありますか？

17

偏った平均のMLE推定量の例を提供できますか？

規則性の条件に違反することでMLE推定量を一般的に破る例は探していません。

私がインターネットで見ることができるすべての例は分散を参照します、そして、私は平均に関連する何かを見つけることができないようです。

編集

@MichaelHardyは、特定の提案モデルでMLEを使用して均一分布の平均のバイアス推定値を取得する例を提供しました。

しかしながら

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

MLEは、明らかに別の提案モデルの下で、平均の一様に最小の不偏推定量であることを示唆しています。

この時点で、モデル中立であるサンプル平均推定量とは対照的に、非常に仮説的なモデル依存である場合、MLE推定が何を意味するのかはまだ明確ではありません。最後に、母集団について何かを推定することに興味があり、仮説モデルのパラメーターの推定についてはあまり気にしません。

編集2

@ChristophHanckが追加情報でモデルを示したため、バイアスが導入されましたが、MSEを減らすことができませんでした。

また、追加の結果があります。

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf（p61） http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf（スライド2） http：/ /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf（スライド5）

「θの最も効率的な不偏推定量ˆθが存在する場合（すなわちˆθが不偏であり、その分散がCRLBに等しい場合）、推定の最尤法はそれを生成します。」

「さらに、効率的な推定量が存在する場合、それはML推定量です。」

自由なモデルパラメーターをもつMLEは偏りがなく効率的であるため、定義上、この "the"最尤推定量は？

編集3

@AlecosPapadopoulosの数学フォーラムには、半正規分布の例があります。

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

均一な場合のように、そのパラメーターを固定していません。彼は平均推定量のバイアスを実証していませんが、それで解決すると言うでしょう。

maximum-likelihood mean bias

— カグダス・オズゲンク
ソース

10

ゼロとシータ上のユニフォームの平均。

— クリストフハンク

1

「母集団について何かを推定する」と「仮説モデルのパラメーター」の区別はできません。すべてのパラメトリック統計では、いくつかのパラメーターで母集団をパラメーター化します。もちろん、このように仕様の間違いの問題に遭遇する可能性がありますが、それは目下の問題に関連するとは思われません。

— クリストフハンク

5

たとえば、母集団は、平均や分散などのパラメータ/モーメントによって特徴付けられます（たとえば、通常の母集団には十分です）。そして：私は、このフォーラムの他の誰よりも、あなたが人々に対して多かれ少なかれ慢であるとは思いません。

— クリストフハンク

2

「パラメータ」と「平均」の間の切り替えの見かけの手足に不満を感じている場合、その平均

に関して特定の非負の分布を定義してみましょう。密度は

μ

$\mu$

のその支持体上に

...

\frac{1}{2 μ}

$\frac{1}{2\mu}$

[0, 2 μ]

$[0, 2\mu]$

— シミ

1

編集2については、これらの結果の多くは、このスレッドで説明されている均一な例では満たされていない規則性条件の下で導出され、サンプルスペースはパラメーターに依存します。

— クリストフハンク

32

クリストフ・ハンクは、提案された例の詳細を掲載していません。私は彼が間隔の均一な分布を意味し、それを取る IIDサンプルに基づいて以上のサイズの $[0,\theta],$ $X_1,\ldots,X_n$ $n=1.$

平均はです。 $\theta/2$

$\max\{X_1,\ldots,X_n\}/2.$

これは、なのでバイアスされているため、 $\Pr(\max < \theta) = 1,$ $\operatorname{E}({\max}/2)<\theta/2.$

PS：おそらく、平均の最適な不偏推定量はサンプル平均ではなく、サンプル平均はお粗末な推定量です。一部のサンプルでは、サンプル平均が未満あり、明らかに不可能です。未満になりますPSの終わり $\theta/2$

\frac{n + 1}{2 n} \cdot max {X_{1}, \dots, X_{n}} .

$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$

θ / 2

$\theta/2$

\frac{1}{2} max {X_{1}, \dots, X_{n}},

$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$

θ / 2

$\theta/2$

max / 2.

${\max}/2.$

パレート分布もそのようなケースだと思います。確率の尺度は次のとおりです。期待される値は期待値のMLEは

α {(\frac{κ}{x})}^{α} \frac{d x}{x} for x > κ .

$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$

\frac{α}{α - 1} κ .

$\dfrac \alpha {\alpha -1 } \kappa.$

\frac{n}{n - \sum_{i = 1}^{n} ((\log X_{i}) - \log (min))} \cdot min

$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$

min = min {X_{1}, \dots, X_{n}} .

$\min = \min\{X_1,\ldots,X_n\}.$

平均値に対するMLEの期待値を算出していないため、そのバイアスが何であるかわかりません。

— マイケル・ハーディ
ソース

12

Cagdas、countexampleを要求し、それからあなたが何か他のものを提案することを否定することは合法ではありません！これは、赤い果実ではなく、ブルーベリーが表示されている果物の例を求め、ブルーベリーが好きではないので数えないと言っているようなものです。

— whuber

7

それはあなたが尋ねた質問とは関係ありません。

— whuber

8

@CagdasOzgenc：MLEがバイアスされているかどうかは、モデルに依存します。モデルのないMLEのようなものはありません。モデルを変更すると、MLEも変更されます。

— マイケルハーディ

8

@CagdasOzgencここにソクラテスの質問があります：サンプル平均は何の公平な推定量ですか？推定するパラメーターを持つモデルが必要です。

— マシュードゥルーリー

9

iid標本の平均は母平均の不偏推定量ですが、何かの不偏推定量について話すために必要なものよりも多くの構造がない限り、最尤推定量については言えません。

— マイケルハーディ

18

これは、一部の人が驚くかもしれないと思う例です：

ロジスティック回帰では、非決定的結果（つまり、）の有限サンプルサイズの場合、推定回帰係数は偏っているだけでなく、回帰係数の平均は実際には定義されていません。 $0 < p_{i} < 1$

これは、サンプルサイズが有限である場合、結果の完全な分離を得るための正の確率（サンプル数が回帰パラメーターの数と比較して非常に小さい場合）があるためです。これが発生すると、推定回帰係数はまたはいずれかになります。またはいずれかの正の確率は、期待値が未定義であることを意味します。 $-\infty$ $\infty$ $-\infty$ $\infty$

この特定の問題の詳細については、Hauck-Donner-effectを参照してください。

— クリフAB
ソース

1

これは非常に賢い方法です。ロジスティック回帰係数のMLEは、Hauck-Donner効果の非発生を条件とするバイアスがかけられているのだろうか？

— GUNG -復活モニカ

3

@gung：簡単な答え：Hauck-Donner効果を無視すると、絶対回帰係数にはまだ上向きのバイアスがあります（つまり、負の係数には下向きのバイアスがあり、正の係数には上向きのバイアスがあります）。興味深いことに、推定確率には0.5に偏っているようです。私はこの投稿でそれについて書き始めましたが、推定された確率のバイアスについての結果を出していません。

— クリフAB

10

@MichaelHardyが指摘しましたが、最大のMLE（したがって、不変による平均のMLE ）が別のモデル（以下の編集をご覧ください）。 $\theta/2$

一様分布の上限を推定します。ここで、はランダムサンプル MLE です。偏りがないことを示します。そのはしたがって、その密度はしたがって、 $U[0,\theta]$ $y_{(n)}$ $y$ $y_{(n)}$

\begin{array}{rcl} F_{y_{(n)}} (x) & = & Pr {Y_{1} ⩽ x, \dots, Y_{n} ⩽ x} \\ = & Pr {Y_{1} ⩽ x}^{n} \\ = & {\begin{cases} 0 & for x < 0 \\ {(\frac{x}{θ})}^{n} & for 0 ⩽ x ⩽ θ \\ 1 & for x > θ \end{cases} \end{array}

$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$

f_{y_{(n)}} (x) = {\begin{cases} \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} & for 0 ⩽ x ⩽ θ \\ 0 & else \end{cases}

$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$

\begin{array}{rcl} E [Y_{(n)}] & = & \int_{0}^{θ} x \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} d x \\ = & \int_{0}^{θ} n {(\frac{x}{θ})}^{n} d x \\ = & \frac{n}{n + 1} θ \end{array}

$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$

編集：確かに（コメントの議論を参照）MLEは、下限と上限両方が不明である場合の平均に偏っていない。次に、最小はのMLEで、（詳細は省略）期待値一方のMLE は期待値 $a$ $b$ $Y_{(1)}$ $a$

E (Y_{(1)}) = \frac{n a + b}{n + 1}

$E(Y_{(1)})=\frac{na+b}{n+1}$

E (Y_{(n)}) = \frac{n b + a}{n + 1}

$E(Y_{(n)})=\frac{nb+a}{n+1}$

(a + b) / 2

$(a+b)/2$

\frac{Y_{(1)} + Y_{(n)}}{2}

$\frac{Y_{(1)}+Y_{(n)}}{2}$

E (\frac{Y_{(1)} + Y_{(n)}}{2}) = \frac{n a + b + n b + a}{2 (n + 1)} = \frac{a + b}{2}

$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$

編集2：ヘンリーの点を詳しく説明するために、平均の推定量のMSEの小さなシミュレーションがあります.MLEは下限がゼロであることがわからない場合、2つのバリアントのMSEは同一であることを示しています、下限の知識を組み込んだ推定量が変動性を減らすことを示唆しています。

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

— クリストフ・ハンク
ソース

ウィキペディアは別のモデルを最初から提案しているためです。そこに私の混乱があります。

— カグダスオズゲンク16

はい。ただし、ここで説明した特別なケース、つまりに調整すると、1に戻ります。その場合、下限がゼロであることがわかっているため、推定にサンプルの最小値はもう必要ありません。そのため、中点のMLE（=中央値=平均）は、再びなります。

a = 0

$a=0$

(m a x + 0) / 2

$(max+0)/2$

— クリストフハンク

2

詳細は把握していませんが、最小値が下限値を最大値と同じ量だけ過大評価する場合、そのモデルのMLEは不偏になる可能性があるため、中点はバイアスなしで推定されます。

— クリストフハンク

4

@CagdasOzgenc：不偏性はないだけかのも、最も重要な尺度であるより良いです。正確支援の一端を知ることによって、あなたは平均値を推定する際のエラーの間のバランスを失う可能性がありますが、範囲のより良い推定（例えば）で終わる

— ヘンリー・

6

最尤推定量は、小さなサンプルサイズのすべての基準で常に「最良」とは限りません。だから何？彼らはふりもしません。実際のサンプルサイズの近傍にあるサンプルサイズのいくつかの基準に従って、より良い特性を持つ別の推定器を問題に使用する場合は、自由に使用できます。私はそうし、他の人もそうします。MLEであるという理由だけで、あらゆる状況でMLEの使用が正当化されると主張する人はいません。

— jbowman 16

5

ここで、OPが参照するmath.seでの私の回答の省略を完了し、

Half Normal分布に従うランダム変数のサイズ iidサンプルがあると仮定します。この分布の密度とモーメントは $n$

f_{H} (x) = \sqrt{2 / π} \cdot \frac{1}{v^{1 / 2}} \cdot \exp {- \frac{x^{2}}{2 v}} E (X) = \sqrt{2 / π} \cdot v^{1 / 2} \equiv μ, Var (X) = (1 - \frac{2}{π}) v

$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$

サンプルの対数尤度は

L (v ∣ x) = n \ln \sqrt{2 / π} - \frac{n}{2} \ln v - \frac{1}{2 v} \sum_{i = 1}^{n} x_{i}^{2}

$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$

に関する一次導関数は $v$

\frac{\partial}{\partial v} L (v ∣ x) = - \frac{n}{2 v} + \frac{1}{2 v^{2}} \sum_{i = 1}^{n} x_{i}^{2}, ⟹ {\hat{v}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}

$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$

モーメント推定の方法です。なぜなら、

E ({\hat{v}}_{MLE}) = E (X^{2}) = Var (X) + [E (X)])^{2} = (1 - \frac{2}{π}) v + \frac{2}{π} v = v

$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$

しかし、平均の結果の推定量は、ジェンセンの不等式により下方に偏っています

\begin{aligned} {\hat{μ}}_{MLE} = \sqrt{2 / π} \cdot \sqrt{{\hat{v}}_{MLE}} ⟹ & E ({\hat{μ}}_{MLE}) = \sqrt{2 / π} \cdot E (\sqrt{{\hat{v}}_{MLE}}) \\ < \sqrt{2 / π} \cdot [\sqrt{E ({\hat{v}}_{MLE})}] = \sqrt{2 / π} \cdot \sqrt{v} = μ \end{aligned}

$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$

— アレコスパパドプロス
ソース

4

有名なネイマン・スコット問題には、正しいものに収束することさえないという点で、一貫性のないMLEがあります。条件付き尤度の使用を動機付けます。

取ります。のMLE はで、のMLE はで期待値であるため、2倍にバイアスされています。 $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$ $\mu_i$ $(X_i + Y_i)/2$ $\sigma^2$ $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ $\sigma^2/4$

— AdamO
ソース

2

この例は当てはまりますが、これは実際にはMLEの漸近結果の基本的な規則性条件の1つに反します。つまり、。ここで、は推定パラメーター数、はサンプルサイズです。

k / n \to 0

$k / n \rightarrow 0$

k

$k$

n

$n$

— クリフAB

1

@CliffABの仮定違反は、パラメトリックディメンションが固定されていないことです。の次元は、に行きます。それはあなたが言っていることだと思うが、が何を意味するのか分からない。もちろん、この例の実際的な例は、これらの結果は小さなサンプルでも偏っており、この場合を推定するには、混合効果モデルのような条件付き尤度を使用する必要があるということです。

Θ

$\Theta$

\infty

$\infty$

n \to \infty

$n \rightarrow \infty$

k

$k$

σ

$\sigma$

— AdamO 16

3

この現象には無限の範囲の例があります。

全単射の最尤推定量変換 Aパラメータの全単射は、最尤推定量の変換された、。 $\Psi(\theta)$ $\theta$ $\theta$ $\Psi(\hat{\theta}_\text{MLE})$
最尤推定量、、の全単射変換の期待値は最尤推定量の期待値の全単射変換ではありません。 $\theta$ $\Psi(\hat{\theta}_\text{MLE})$ $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$
ほとんどの変換は、少なくともラプラス変換を適用できる場合、少なくとも指数族については、データの何らかの変換の期待値です。 $\Psi(\theta)$ $\mathfrak{h}(X)$

— 西安
ソース