最尤推定—多くの場合、バイアスがかかっているにもかかわらず使用される理由

最尤推定では、バイアスのかかった推定量が得られることがよくあります（たとえば、サンプル分散の推定値はガウス分布に対してバイアスがかけられます）。

それで何がそんなに人気があるのでしょうか？なぜそんなに正確に使用されるのですか？また、特に代替アプローチであるモーメント法よりも優れている点は何ですか？

また、ガウスでは、MLE推定量を単純にスケーリングすることでバイアスが偏らないことに気付きました。なぜこのスケーリングは標準的な手順ではないのですか？つまり、なぜMLE計算の後、推定量を不偏にするために必要なスケーリングを見つけるのが日常的ではないのですか？標準的な方法は、スケーリング係数がよく知られているよく知られたガウスの場合を除いて、MLE推定値の単純な計算のようです。

不偏は、それ自体が必ずしも特に重要というわけではありません。

非常に限られた状況のほかに、最も有用な推定量は偏っていますが、それらは得られています。

2つの推定量が同じ分散を持っている場合、偏りのあるものより偏りのないものを好むという議論を容易に立てることができますが、それは異常な状況です（つまり、不偏性、セトリスパリビスを合理的に好むかもしれませんが、それらの厄介なセトリスパリブスはほとんどありません）。

より一般的には、不偏性が必要な場合は、それを得るためにいくらかの分散を追加することになります。そして、質問はなぜそうするのでしょうか？

バイアスとは、推定値の期待値が平均してどれだけ高くなるか（負のバイアスが低すぎることを示す）です。

小さなサンプル推定量を検討しているとき、私はそれをあまり気にしません。私は通常、この場合に推定器がどれだけ間違っているかにより興味があります -右からの典型的な距離...二乗平均誤差または平均絶対誤差のようなものがより理にかなっています。

したがって、低分散と低バイアスが必要な場合は、最小平均二乗誤差推定量を求めることは理にかなっています。これらはめったに偏らない。

バイアスと偏りのないことは知っておくと便利な概念ですが、同じ分散の推定量のみを比較するのでない限り、探すのに特に役立つプロパティではありません。

ML推定量は低分散になる傾向があります。通常、これらは最小のMSEではありませんが、多くの場合、偏りのないように変更するよりもMSEが低くなります（まったくできる場合）。

例として、正規分布からサンプリングするときに分散を推定することを検討してください（実際、分散のMMSEは常により大きい分母）。$\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$$n-1$

MLEは、モデルと手元のデータが与えられると、モデルパラメーターの最も可能性の高い値を生成します。これは非常に魅力的な概念です。値のセット全体で最も観測される可能性が高いデータを選択できるのに、観測されるデータの確率が低くなるパラメーター値を選択するのはなぜですか？この機能を公平性のために犠牲にしますか？答えが常に明確であるとは言いませんが、MLEの動機は非常に強く直感的です。

また、私が知る限り、MLEはモーメント法よりも広く適用できる可能性があります。MLEは潜在変数の場合により自然に見えます。たとえば、移動平均（MA）モデルまたは一般化された自己回帰条件付き異分散（GARCH）モデルはMLEによって直接推定できます（直接、尤度関数を指定して最適化ルーチンに送信するだけで十分です）モーメント法によるものではありません（ただし、モーメント法を利用した間接的な解決策が存在する場合があります）。

実際には、公平な推定値を得るために、最尤推定値のスケーリングがあり、多くの推定問題における標準的な手順。その理由は、mleは十分な統計量の関数であるため、十分な統計量に基づいて不偏推定量を見つけることができる場合、Rao-Blackwell定理により、最小分散不偏推定量が得られるためです。

あなたの質問はそれよりも一般的であることを知っていますが、私が強調したいのは、重要な概念は可能性とそれに基づく推定値に密接に関係しているということです。これらの推定値は、有限サンプルでは不偏ではないかもしれませんが、漸近的であり、さらに漸近的に効率的です。つまり、MOM推定器の場合とは限りません。

なぜMLEがそれほど人気が​​あるのか​​という質問に答えるために、偏りはあるものの、標準的な条件下では一貫していると考えてください。さらに、漸近的に効率的であるため、少なくとも大規模なサンプルの場合、MLEは他の推定量と同じかそれ以上の性能を発揮する可能性があります。最後に、MLEは簡単なレシピで見つけられます。尤度関数を使用して最大化します。場合によっては、そのレシピを追うのは難しいかもしれませんが、ほとんどの問題ではそうではありません。さらに、この推定値が得られたら、フィッシャーの情報を使用して漸近標準誤差をすぐに導き出すことができます。フィッシャーの情報を使用しないと、多くの場合、エラーの範囲を導き出すのは非常に困難です。

これが、MLE推定が非常に多くの場合、推定値への移行である理由です（あなたがベイジアンでない限り）。実装するのは簡単で、料理をするためにもっと多くの作業をする必要がある他のどの製品よりも良くないとしても、同じくらい良いでしょう。

理想的な世界では望んでいない場合でも、それが得られたものであるため、時々（多くの場合）MLE推定量を使用することを付け加えます。（多くの場合、統計は、必要なものではなく、取得したものを使用するエンジニアリングのようなものだと考えています。）多くの場合、MLEの定義と解決は簡単で、反復アプローチを使用して値を取得します。一方、特定の状況で特定のパラメーターを使用する場合は、より優れた推定値（「より良い」値の場合）がありますが、それを見つけるには非常に賢い必要があります。そして、あなたが賢いことを終えたとき、あなたはまだその特定の問題に対してより良い推定量しか持っていません。