偏った最尤推定量の背後にある直感的な推論

偏りのある最尤（ML）推定量に混乱があります。概念全体の数学は私にはかなり明確ですが、その背後にある直感的な推論を理解することはできません。

分布からのサンプルを含む特定のデータセットがあり、それ自体が推定するパラメーターの関数である場合、ML推定器は、データセットを生成する可能性が最も高いパラメーターの値になります。

バイアス付きML推定量を直感的に理解することはできません。パラメーターの最も可能性のある値は、間違った値へのバイアスを伴うパラメーターの実際の値をどのように予測できるのでしょうか。

ML推定量は、データセットで発生する可能性が最も高いパラメーターの値をもたらします。

仮定を考えると、ML推定量は、データセットを生成する可能性が最も高いパラメーターの値です。

「パラメータの最も可能性の高い値は、間違った値への偏りがあるパラメータの実際の値をどのように予測できるか」という意味で、偏ったML推定量を直感的に理解できません。

バイアスは、サンプリング分布の期待に関するものです。「データを生成する可能性が最も高い」とは、サンプリング分布の期待に関するものではありません。なぜ彼らは一緒に行くことが期待されますか？

それらが必ずしも一致しないという驚くべき根拠は何ですか？

MLEのいくつかの単純なケースを検討し、それらの特定のケースでどのように違いが生じるかを熟考することをお勧めします。

例として、上のユニフォームでの観測を考えます。最大の観測値は（必然的に）パラメーターより大きくないので、パラメーターは少なくとも最大の観測値と同じ大きさの値しか取得できません。$(0,\theta)$

の尤度を考慮すると、が最大の観測値に近いほど（明らかに）大きくなります。したがって、最大の観測で最大化されます。それは明らかに、取得したサンプルを取得する機会を最大化するの推定値です。$\theta$$\theta$$\theta$

しかし、一方で、最大の観測値は明らかに（確率1で）真の値よりも小さいため、バイアスをかける必要があります。サンプル自体によってまだ除外されていないその他の推定値はそれより大きくなければならず、（この場合は明らかに）サンプルを生成する可能性は低くなければなりません。$\theta$$\theta$

からの最大の観測値の期待値はであるため、バイアスを解除する通常の方法は：推定量として取得することです。、ここでは最大の観測値です。$U(0,\theta)$ θ θ =N+$\frac{n}{n+1}$$\theta$X（n$\hat\theta=\frac{n+1}{n}X_{(n)}$$X_{(n)}$

これはMLEの右側にあるため、可能性は低くなります。

β β β M L $\beta^{MLE}$は最も可能性の高い値ではありません。最も可能性の高い値は自体です。は、実際に取得したサンプルを描画する確率を最大化します。$\beta$$\beta$$\beta^{MLE}$

MLEは漸近的に偏りがなく、多くの場合、有限サンプルでより適切に動作するように推定器を調整できます。たとえば、ランダム変数の分散のMLEは1つの例で、で乗算すると変換されます。$\frac{N}{N-1}$

これが私の直観です。

バイアスはの尺度である精度が、という概念もあります精度。

理想的な世界では、正確で正確な推定値が得られます。つまり、常にブルズアイに当たります。残念ながら、不完全な世界では、精度と精度のバランスを取る必要があります。時々、精度を上げるために少しの精度を与えることができると感じるかもしれません。私たちは常にトレードオフします。したがって、推定量が偏っているという事実は、それが悪いことを意味するものではありません。より正確である可能性があります。