線形モデルのBLUE（OLSソリューション）以外の不偏推定量

線形モデルの場合、OLSソリューションはパラメーターに最適な線形不偏推定量を提供します。

もちろん、より低い分散、例えばリッジ回帰のバイアスをトレードオフできます。しかし、私の質問はバイアスがないということです。偏りはないが、OLS推定パラメーターよりも高い分散を持つ、やや一般的に使用される推定器は他にありますか？

巨大なデータセットがある場合は、もちろんそれをサブサンプリングし、より少ないデータでパラメーターを推定し、分散を増やすことができます。これは仮説的に有用だと思います。

BLUE推定量について読んだときに、より悪い代替案が提供されていないため、これは修辞的な質問です。悪い選択肢を提供することは、人々が青い推定器の力をよりよく理解するのにも役立つと思います。

頭に浮かぶ1つの例は、ガウス-マルコフの仮定が満たされている場合は必要ではありませんが、観測に異なる重みを付けるGLS推定量です（統計学者はそうではないため、GLSを適用します）。

説明のために定数の$y_i$、$i=1,\ldots,n$回帰の場合を考えてみましょう（一般的なGLS推定量に簡単に一般化できます）。ここで、$\{y_i\}$平均と母集団からのランダムサンプルであると仮定され$\mu$及び分散$\sigma^2$。

その後、我々はOLSがちょうどであることを知っているβ = ˉ Y、サンプルの平均。各観察、重量で重み付けされている点を強調するために、1 / N、としてこれを書い β = N Σ iが= 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ それは、よく知られている$Var(\hat\beta)=\sigma^2/n$。

今、別のように書くことができる推定検討

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ 重みはそのようなことである$\sum_iw_i=1$。これにより、 $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ その分散は、すべてのiについて$w_i=1/n$（この場合はもちろんOLSに減少します）でない限り、OLSの分散を超えます。$i$

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ 偏導関数はWRTで$w_i$に等しいゼロに設定$2\sigma^2w_i-\lambda=0$全てについて$i$、および$\partial L/\partial\lambda=0$等しい$\sum_iw_i-1=0$。の導関数の最初のセットを解く$\lambda$それらと等化生じる$w_i=w_j$意味し、$w_i=1/n$ 1に要求その加重和によって、分散を最小限にします。

以下は、以下のコードで作成された小さなシミュレーションのグラフィカルな図です。

編集：@kjetilbhalvorsenと@RichardHardyの提案に応じて、$y_i$中央値、位置パラメータpf at（4）分布のMLE（In log(s) : NaNs producedさらにチェックしなかったという警告が表示されます）およびHuberの推定値をプロット。

$w_i=(1\pm\epsilon)/n$

後者の3つがOLSソリューションによってアウトパフォームされることは、それらが線形推定器であるかどうかは明らかではないため（少なくとも私にとっては）BLUEプロパティによってすぐに暗示されるわけではありません（MLEとHuberが偏っていないかどうかもわかりません）。

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)