最尤推定はどのようにして近似正規分布を持っていますか?


9

適合分布を生成する方法としてMLEについて読んでいます。

最尤推定値は「おおよその正規分布をしている」という声明に出くわしました。

これは、自分のデータと適合させようとしている分布のファミリーにMLEを繰り返し適用した場合、取得したモデルは通常の分布になることを意味しますか?一連の分布にはどの程度正確に分布がありますか?


3
MLEをデータに繰り返し適用すると、計算エラーがなければ、毎回まったく同じ結果が得られます。代わりにこれについて考える方法は、データが異なる結果になる可能性がある方法を検討することです。データが変動する場合は、それらに基づいてMLの見積もりも変更します。これは、結果として生じる見積もりの​​変動であり、非常に興味深いものです。
whuber

ahhはい...サンプルサイズは考慮していませんでした...
Matt O'Brien

回答:


17

推定量は統計であり、統計にはサンプリング分布があります(つまり、同じサイズのサンプルを描画し続け、得られた推定値の分布(サンプルごとに1つ)を見続ける状況について話しています)。

引用は、サンプルサイズが無限に近づくときのMLEの分布に言及しています。

それでは、指数分布のパラメーター(レートパラメーター化ではなくスケールパラメーター化を使用)の明示的な例を考えてみましょう。

f(x;μ)=1μexμ;x>0,μ>0

μ^=x¯nX¯

ここに画像の説明を入力してください

サイズ1のサンプルを繰り返し取得する場合、結果のサンプル平均密度は左上のプロットに表示されます。サイズ2のサンプルを繰り返し取得する場合、結果のサンプル平均密度は右上のプロットに表示されます。右下にあるn = 25までに、標本平均の分布はすでにはるかに正常に見え始めています。

1/X¯λ=1/μ

次に、既知のスケール平均を持つガンマ分布の形状パラメーターを考えます(ここでは、スケールと形状ではなく、平均と形状のパラメーター化を使用しています)。

この場合、推定器は閉じた形式ではなく、CLTは適用されません(ここでも、少なくとも直接*ではありません)が、尤度関数のargmaxはMLEです。より多くのサンプルを取得すると、形状パラメーター推定のサンプリング分布はより正常になります。

ここに画像の説明を入力してください

n

-

θ^θ^

また、小さなサンプル(少なくとも無限大と比較して小さい)を見ているときに見られる効果-上記のプロットによって動機付けされているように、さまざまな状況での正規性への定期的な進行-が次のことを示唆していることにも注意してください。標準化された統計の累積分布関数を検討しましたが、サンプリング分布が正規性にゆっくりと近づく限界を提供するMLEでCLT引数を使用する方法と同様のアプローチに基づく、ベリーエッセンの不等式のバージョンがあるかもしれません。私はそのようなものを見たことがありませんが、それが行われたことを見つけるのに私を驚かせません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.