適合確率分布におけるMLEと最小二乗


18

私が読んだいくつかの論文、本、記事に基づいて得た印象は、データのセットに確率分布を当てはめる推奨方法は最尤推定(MLE)を使用することです。ただし、物理学者としてのより直感的な方法は、最小二乗法を使用して、モデルのpdfをデータの経験的pdfに適合させることです。なぜ確率分布の近似においてMLEが最小二乗よりも優れているのですか?誰かがこの質問に答える科学論文/本を教えてもらえますか?

私の考えは、MLEがノイズモデルを想定しておらず、経験的pdfの「ノイズ」が異分散であり、正常ではないためです。

回答:


2

これについて考える便利な方法の1つは、最小二乗とMLEが同じ場合があることに注意することです。たとえば、ランダム要素に正規分布があるパラメーターを推定します。実際、(推測するように)MLEはノイズモデルを想定していないのではなく、ランダムノイズがあると想定していますが、それを想定するのではなく、どのように形作られているかについてより洗練された見方をしています正規分布を持ちます。

統計的推論に関するテキストは、効率と一貫性に関してMLEの優れた特性を扱います(ただし、必ずしも偏りがあるわけではありません)。MLEには、合理的な条件の下で漸近的に正常であるという優れた特性もあります。


「ランダムノイズモデルを想定しない」とは、ノイズが正規分布などの一定の分布を持っていると想定しないことを意味します。最小二乗法を使用してPDFを近似することにより、パラメーター推定について説明している本を指摘できますか?私が見つけた本では、MLE(および場合によっては瞬間の方法)についてのみ説明しています。
クリスチャンアリ

MLEに適合するには、まだ一定の分布を仮定する必要がありますが、通常よりも幅広い選択肢があります。2つについて議論する最初の本を選ぶために、ガースウェイト、ジョリフ、ジョーンズ統計的推論(かなり標準的な2年目ユニテキストブック)がありますMLEへ。
ピーターエリス
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.