平均がデータの平均であることがわかっているのに、なぜMLEを使用して平均を推定するのですか？

私は平均を推定するために教科書の問題に出くわしました。教科書の問題は次のとおりです。

ことを前提とし $N$ データポイントは、 $x_1$ 、 $x_2$ 、。。。、 $x_N$ 、平均が不明であるが分散が既知の1次元ガウス確率密度関数によって生成されました。平均のML推定値を導出します。

私の質問は、平均がデータの平均であることをすでに知っているのに、なぜMLEを使用して平均を推定する必要があるのかということです。ソリューションはまた、MLE推定値がデータの平均であると述べています。平均がデータの平均にほかならないことを見つけるために、すべての骨の折れる最大化MLEステップを実行する必要がありますかつまり、 $(x_1+x_2+\cdots+x_N)/N$ ？）

self-study normal-distribution maximum-likelihood

— ニランジャンコタ
ソース

「平均」という言葉の2つの異なる意味に混乱するかもしれません。この質問では、（a）ガウス分布のファミリーのパラメーター、および（b）データから計算できる統計を参照するために使用します。このサイトがMLEとパラメーターについて何を言っているかを調べてみてください。

— whuber

あなたが引用する教科書の参照を提供するのはどうですか？

— 西安

回答:

平均がデータの平均であることがわかっているのに、なぜMLEを使用して平均を推定する必要があるのですか？

教科書の問題の状態からである $x_1,x_2,\dots,x_N$ 彼らはことを教えてくれ知られているが、推定する必要があります。

バツ 〜 \frac{1}{\sqrt{2 π} σ} e^{- \frac{（ バツ - μ ）^{2}}{2 σ^{2}}}

$x\sim\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

σ

$\sigma$

μ

$\mu$

それは本当に良い推定値が明らかである？！ $\hat\mu=\bar x$

ここでは、です。 $\bar x=\frac{1}{N}\sum_{i=1}^Nx_i$

それは私には自明ではありませんでしたが、それが実際にMLEの推定値であることに気づいて、私はかなり驚きました。

また、これを考慮してください：が既知で未知の場合はどうでしょうか？この場合のMLE推定は、 $\mu$ $\sigma$

{\hat{σ}}^{2} = \frac{1}{N} Σ_{私 = 1}^{N} （ バツ - \bar{バツ} ）^{2}

$\hat\sigma^2=\frac{1}{N}\sum_{i=1}^N(x-\bar x)^2$

この推定量がサンプル分散推定量と同じでないことに注意してください。サンプルの分散が次の方程式で与えられることを「私たちはすでに知っていますか」？

s^{2} = \frac{1}{N - 1} \underset{私}{Σ} （ バツ - \bar{バツ} ）^{2}

$s^2=\frac{1}{N-1}\sum_{i}(x-\bar x)^2$

— アクサカル
ソース

nitpickyペットpeeve：

標本分散ではありません

。

s^{2}

$s^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— クリフAB

@CliffAB

"標本分散" を呼び出すためのサポートが不足しているとは思いません。ちょうど例として、ベッセルの訂正に関するウィキペディアのページはそれをそれと呼んでいます。多くの本も同様です。私はあなた自身の用語に寄りかかりたいと思いますが、おそらく今日では

は標本分散ではないと言っても強すぎると思います-用語は非常に広範であり、おそらくそれによって

呼び出すよりも広く使用されています名前

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N}^{2}

$s^2_N$

— Glen_b -Monicaを2016

@Glen_b私は

「サンプル分散」（「サンプルの分散」のように）と呼び、

「（推定）母集団分散」（不偏推定のように）と呼ぶようになりました。、この投稿が示すように、

も有用な推定量です）。しかし、私は数年前に（ランダムではない）教科書と計算機マニュアルの「世論調査」を行ったところ、両方の例をたくさん見つけましたが、私の使用法は少数派であることが強くわかりました。これがトレンドかどうか分からない。[また、昔ながら

と

時々イライラあいまいです...

s_{N}^{2}

$s_N^2$

s_{N - 1}^{2}

$s_{N-1}^2$

s_{N}

$s_N$

s

$s$

\hat{σ}

$\hat \sigma$

N

$N$

！]

N - 1

$N-1$

— Silverfish

@CliffABは、私が見てきた

標本分散のための計量経済学で多くを使用し、

「計量経済分析」グリーンに例えば、人口のパラメータのために。

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— Aksakal

@CliffAB、私は専門用語を作りませんでしたが、おそらく計量経済学の理論的根拠は、分散を含め、何でも1つ以上の推定量が常にあるということでした。だから

、特定の十分ではないでしょう、推定器1の任意の番号を参照するように見えるだろうとまで来ることができ、一方

平均二乗偏差の意味特定されています。ここで、OLSコンテキストでは

{\hat{σ}}^{2}

$\hat\sigma^2$

s^{2}

$s^2$

、ここで

はパラメーターの数です。ご覧のように、常に

であるとは限らないため、この表記でさえ完全に特定されているわけではありませんが、パラメーターの数を調整することが想定されています。

s^{2} = \frac{e^{'} e}{N - k}

$s^2=\frac{e'e}{N-k}$

k

$k$

N - 1

$N-1$

— Aksakal

この場合、あなたのサンプルの平均が起こるも、最尤推定量であることを。そのため、最初に使用した平均の直感的な推定値に戻るため、MLEを導出するすべての作業を行うことは不要な練習のように感じられます。まあ、これは「偶然」ではありませんでした。これは特に、MLE推定量が直感的な推定量につながることが多いことを示すために選択されました。

しかし、直感的な推定者がいなかった場合はどうなりますか？たとえば、iidガンマ確率変数のサンプルがあり、形状とレートパラメーターの推定に興味があったとします。おそらく、ガンマ分布について知っているプロパティから推定量を推論しようとすることができます。しかし、それを行うための最良の方法は何でしょうか？推定平均と分散の組み合わせを使用していますか？平均の代わりに推定中央値を使用しないのはなぜですか？または対数平均？これらはすべて、ある種の推定量を作成するために使用できますが、どちらが良いでしょうか？

結局のところ、MLE理論は、その質問に対する答えを簡潔に得る優れた方法を提供します。観測されたデータの可能性を最大化するパラメーターの値を取り（かなり直感的に思えます）、それを推定値として使用します。実際、特定の条件下では、これがほぼ最良の推定量になると述べている理論があります。これは、データのタイプごとに一意の推定量を見つけて、それが本当に最良の選択であるかどうかを心配して多くの時間を費やすよりもはるかに優れています。

つまり、MLEは通常のデータの平均を推定する場合の新しい洞察を提供しませんが、一般に非常に非常に便利なツールです。

— クリフAB
ソース

それはグーグルから直接、それらの引用によって示されるように、混乱する語彙の問題です：

平均
名詞：平均; 複数名詞：平均

データのセットの中心値または代表値、特にモード、中央値、または（最も一般的には）平均を表す数値。これは、セットの値の合計をその数で割ることによって計算されます。「60歳以上の割合は、EUの平均である19％を上回っています」同義語：平均、中央値、最頻値、中点、中心

$\bar{x}$ $\mu$ $\mathfrak{N}(\mu,\sigma²)$

平均

数学では、平均には文脈に応じていくつかの異なる定義があります。

$\mu = \sum x P(x)$

$x_1, x_2, ..., x_n$ $\bar{x}$ $\bar{x}$ $\mu$ $\mu_x$

このウィキペディアエントリで提案されているように、平均は分布とサンプルまたはデータセットの両方に適用されます。データセットまたはサンプルの平均は、このサンプルに関連する経験的分布の平均でもあります。同義語として平均と期待値を示しているので、このエントリは用語間の混乱の可能性も例示しています。

期待名詞：期待; 複数名詞：期待

数学：期待値の別の用語。

E [バツ] = \int_{バツ} バツ d P （ バツ ）

$\mathbb{E}[X]=\int_\mathcal{X} x\text{d}P(x)$

— 西安
ソース