対数正規分布のモーメントの推定量のバイアス

私は、対数正規分布をサンプリングすることにあるいくつかの数値実験をやっている $X\sim\mathcal{LN}(\mu, \sigma)$ 、およびモーメントを推定しようとして $\mathbb{E}[X^n]$ 2つの方法で：

サンプル平均を見る $X^n$
推定 $\mu$ 及び $\sigma^2$ のサンプル手段を用いて $\log(X), \log^2(X)$ 、次いで対数正規分布のために、我々は持っているという事実を利用して $\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2)$ 。

質問は次のとおりです。

私は実験的に見つける、第2の方法が実行はるかに優れた、最初の1、私は固定のサンプル数を維持し、向上させるとき $\mu, \sigma^2$ この事実のためにいくつかの簡単な説明があり、いくつかの要因によってT.？

Y軸の値である間、私は、x軸がTである図形を装着してい $\mathbb{E}[X^2]$ の真の値を比較する $\mathbb{E}[X^2] = \exp(2 \mu + 2 \sigma^2)$ （オレンジ行）、推定値に。方法1-青い点、方法2-緑の点。y軸は対数スケールです

$$ \ mathbb {E} [X ^ 2] $の真の推定値。青い点は$ \ mathbb {E} [X ^ 2] $（方法1）のサンプル平均で、緑の点は方法2を使用した推定値です。オレンジの線は既知の$ \ mu $、$ \から計算されます方法2と同じ方程式によるsigma $。y軸は対数スケールです。$

編集：

以下は、1つのTの結果を出力する最小のMathematicaコードです。

   ClearAll[n,numIterations,sigma,mu,totalTime,data,rmomentFromMuSigma,rmomentSample,rmomentSample]
(* Define variables *)
n=2; numIterations = 10^4; sigma = 0.5; mu=0.1; totalTime = 200;
(* Create log normal data*)
data=RandomVariate[LogNormalDistribution[mu*totalTime,sigma*Sqrt[totalTime]],numIterations];

(* the moment by theory:*)
rmomentTheory = Exp[(n*mu+(n*sigma)^2/2)*totalTime];

(*Calculate directly: *)
rmomentSample = Mean[data^n];

(*Calculate through estimated mu and sigma *)
muNumerical = Mean[Log[data]]; (*numerical \[Mu] (gaussian mean) *)
sigmaSqrNumerical = Mean[Log[data]^2]-(muNumerical)^2; (* numerical gaussian variance *)
rmomentFromMuSigma = Exp[ muNumerical*n + (n ^2sigmaSqrNumerical)/2];

(*output*)
Log@{rmomentTheory, rmomentSample,rmomentFromMuSigma}

出力：

(*Log of {analytic, sample mean of r^2, using mu and sigma} *)
{140., 91.8953, 137.519}

上記の2番目の結果はサンプル平均であり、他の2つの結果よりも低い $r^2$

— user29918
ソース

不偏推定量は、青い点が期待値（オレンジ曲線）に近いことを意味しません。推定器は、低すぎる可能性が高く、高すぎる可能性が非常に小さい（おそらく無視できるほど小さい）確率がある場合、不偏にできます。それは、Tが増加し、分散がバカバカしくなると起こることです（私の答えを参照）。

— マシューガン

公平な見積もりを取得する方法については、stats.stackexchange.com / questions / 105717をご覧ください。平均と分散のUMVUEは、それに対する回答とコメントに記載されています。

— whuber

回答:

これらの結果には不可解なものがあります。

最初の方法は、不偏推定量、つまり提供します。 $\mathbb{E}[X^2]$ 平均はです。したがって、青い点は期待値（オレンジ曲線）の周りにあるはずです。 $\frac{1}{N} \sum_{i = 1}^{N} X_{i}^{2}$ $\frac{1}{N}\sum_{i=1}^N X_i^2$ $\mathbb{E}[X^2]$
第二の方法は、バイアスされた推定を提供、すなわちおよびは、および不偏推定量です。 $\mathbb{E}[X^2]$ $E [\exp (n \hat{μ} + n^{2} {\hat{σ}}^{2} / 2)] > \exp (n μ + (n σ)^{2} / 2)$ $\mathbb{E}[\exp(n \hat\mu + n^2 \hat{\sigma}^2/2)]>\exp(n \mu + (n \sigma)^2/2)$ $\hat\mu$ $\hat\sigma²$ $\mu$ $\sigma²$ それぞれ、緑色の点がオレンジ色の曲線と整列しているのは奇妙です。

それらは問題のではなく、数値計算によるものである：私はRで実験を繰り返し、同じカラーコードでは、次のピクチャの同じ配列を持って 'sおよびの、分割された各推定を表します真の期待によって： $\mu_T$ $\sigma_T$

対応するRコードは次のとおりです。

moy1=moy2=rep(0,200)
mus=0.14*(1:200)
sigs=sqrt(0.13*(1:200))
tru=exp(2*mus+2*sigs^2)
for (t in 1:200){
x=rnorm(1e5)
moy1[t]=mean(exp(2*sigs[t]*x+2*mus[t]))
moy2[t]=exp(2*mean(sigs[t]*x+mus[t])+2*var(sigs[t]*x+mus[t]))}

plot(moy1/tru,col="blue",ylab="relative mean",xlab="T",cex=.4,pch=19)
abline(h=1,col="orange")
lines((moy2/tru),col="green",cex=.4,pch=19)

したがって、第二実証的瞬間の崩壊のように確かに存在していると私はの分散の莫大な増加に属性だろうと増加としての第2の実証的な瞬間とと増加。 $\mu$ $\sigma$ $\mu$ $\sigma$

この奇妙な現象についての私の説明は、明らかに平均であるが、中心値ではないということです。実際、中央値は等しくなります。ランダム変数を場合、ここで場合、が大きいときは明らかです。十分に、ランダム変数は大きさではありません。つまり、が $\mathbb{E}[X^2]$ $X^2$ $X^2$ $e^{2\mu}$ $X^2$ $\exp\{2\mu+2\sigma\epsilon\}$ $\epsilon\sim\mathcal{N}(0,1)$ $\sigma$ $\sigma\epsilon$ $\sigma^2$ $X$ $\mathcal{LN}(\mu,\sigma)$
$\begin{aligned} P (X^{2} > E [X^{2}]) & = P (\log {X^{2}} > 2 μ + 2 σ^{2}) \\ = P (μ + σ ϵ > μ + σ^{2}) \\ = P (ϵ > σ) \\ = 1 - Φ (σ) \end{aligned}$ $\begin{align*}\mathbb{P}(X^2>\mathbb{E}[X^2])&=\mathbb{P}(\log\{X^2\}>2\mu+2\sigma^2)\\&=\mathbb{P}(\mu+\sigma\epsilon>\mu+\sigma^2)\\&=\mathbb{P}(\epsilon>\sigma)\\ &=1-\Phi(\sigma)\end{align*}$ これは任意に小さくできます。

— 西安
ソース

私も困惑しています。結果に最小限のコードを追加しています（Mathematica）

— -user29918

OK。ありがとう！いくつかの数字を入れてみると、私のわずかなサンプルサイズが実際にはタスクに対応していないことがわかりました！

— user29918

@ user29918：申し訳ありませんが、サンプルサイズは問題ではなく、が無限大になったときに対数正規分布が非常に歪んでいるという事実が意味をなしません。

σ

$\sigma$

— 西安

@西安良いもの！。これは、が増加するにつれて、観測値が平均値を下回る可能性が高くなる（そして、大規模な場合）ことを言葉で表現しようとしていた（むしろ不正確に）方程式を正確にキャプチャします。実際、確率は非常に高いため、サンプル全体が平均を下回っている可能性が非常に高いです！

P (X^{2} > E [X^{2}]) = 1 - Φ (σ)

$P(X^2 > \mathbb{E}[X^2]) = 1 - \Phi(\sigma)$

σ

$\sigma$

σ

$\sigma$

— マシューガン

このタイプの漸近線は、モーメントを正しく近似するために必要なシミュレーションの数が指数関数的に高速に増加するため、あまり役に立ちません。

σ

$\sigma$

— 西安

私は、user29918とXi'anのプロットの両方が一貫していることを示すいくつかのイチジクを投げると思いました。図1はuser29918が行ったことをプロットし、図2（同じデータに基づいて）は西安が彼のプロットに対して行ったことを行います。同じ結果、異なるプレゼンテーション。

何が起こっているのかというと、Tが大きくなると分散が大きくなり、推定器はロトチケットを購入してパワーボールロトの母平均を推定しようとするようになります。時間の大部分は、ペイオフを過小評価します（サンプルの観察がジャックポットに当たらないため）。また、時間のわずかな割合は、ペイオフを大いに過大評価します（サンプルにジャックポットの勝者がいるため）。サンプル平均は偏りのない推定値ですが、数千回の描画でも正確であるとは期待されていません！実際、宝くじを獲得することがますます難しくなるにつれて、サンプルの平均は、ほとんどの場合、人口平均を下回ります。 $\frac{1}{n} \sum_i x_i^2$

さらなるコメント：

偏りのない推定量は、推定量が近いと予想されることを意味しません！青い点は予想に近い必要はありません。例えば。ランダムに選択された単一の観測値は、母平均の不偏推定値を与えますが、その推定量は近いとは予想されません。
分散が完全に天文学的になりつつあるため、問題は近づいています。分散がバタバタするので、最初の方法の推定値はほんの数回の観測で駆動されています。また、非常に小さな、非常に小さな、非常に大きな確率の可能性を持ち始めます...
これは直感的な説明です。西安には、より正式な派生があります。彼の結果は、が大きくなると、数千の観測があっても平均を超える観測値を描画する可能性が非常に低くなることを意味します。。「宝くじに勝つ」という私の言葉は、イベントを指します。 $P(X^2 > E[X^2]) = 1 - \Phi(\sigma)$ $\sigma$ $X^2 > E[X^2]$

— マシュー・ガン
ソース