適合分布を生成する方法としてMLEについて読んでいます。
最尤推定値は「おおよその正規分布をしている」という声明に出くわしました。
これは、自分のデータと適合させようとしている分布のファミリーにMLEを繰り返し適用した場合、取得したモデルは通常の分布になることを意味しますか?一連の分布にはどの程度正確に分布がありますか?
適合分布を生成する方法としてMLEについて読んでいます。
最尤推定値は「おおよその正規分布をしている」という声明に出くわしました。
これは、自分のデータと適合させようとしている分布のファミリーにMLEを繰り返し適用した場合、取得したモデルは通常の分布になることを意味しますか?一連の分布にはどの程度正確に分布がありますか?
回答:
推定量は統計であり、統計にはサンプリング分布があります(つまり、同じサイズのサンプルを描画し続け、得られた推定値の分布(サンプルごとに1つ)を見続ける状況について話しています)。
引用は、サンプルサイズが無限に近づくときのMLEの分布に言及しています。
それでは、指数分布のパラメーター(レートパラメーター化ではなくスケールパラメーター化を使用)の明示的な例を考えてみましょう。
サイズ1のサンプルを繰り返し取得する場合、結果のサンプル平均密度は左上のプロットに表示されます。サイズ2のサンプルを繰り返し取得する場合、結果のサンプル平均密度は右上のプロットに表示されます。右下にあるn = 25までに、標本平均の分布はすでにはるかに正常に見え始めています。
次に、既知のスケール平均を持つガンマ分布の形状パラメーターを考えます(ここでは、スケールと形状ではなく、平均と形状のパラメーター化を使用しています)。
この場合、推定器は閉じた形式ではなく、CLTは適用されません(ここでも、少なくとも直接*ではありません)が、尤度関数のargmaxはMLEです。より多くのサンプルを取得すると、形状パラメーター推定のサンプリング分布はより正常になります。
-
また、小さなサンプル(少なくとも無限大と比較して小さい)を見ているときに見られる効果-上記のプロットによって動機付けされているように、さまざまな状況での正規性への定期的な進行-が次のことを示唆していることにも注意してください。標準化された統計の累積分布関数を検討しましたが、サンプリング分布が正規性にゆっくりと近づく限界を提供するMLEでCLT引数を使用する方法と同様のアプローチに基づく、ベリーエッセンの不等式のバージョンがあるかもしれません。私はそのようなものを見たことがありませんが、それが行われたことを見つけるのに私を驚かせません。