モーメント法とは何ですか？それはMLEとどのように異なりますか？

一般的に、モーメントの方法は、観測されたサンプルの平均または分散を理論上のモーメントに一致させて、パラメーターの推定値を取得しているようです。これはしばしば指数関数的家族のMLEと同じであると私は収集しています。

しかし、尤度関数のモードを見つけるのは難しいかもしれませんが、モーメントの方法の明確な定義や、MLEが一般的に好まれるように見える理由を明確に説明することは困難です。

この質問MLEはモーメント法よりも効率的ですか？ドナルドルービン教授（ハーバード大学）からの引用によると、40年代以降、MLEがMoMを上回っていることは誰もが知っていますが、その歴史や理由について知りたいと思います。

$E[g(y,x,\theta)] = 0$$x$

MLEでは、推定器は対数尤度関数を最大化します。

広範な一般化では、MLEはより厳密な仮定（最大密度）を行うため、通常、仮定が満たされればロバスト性は低くなりますが効率的です（漸近分散でKramer Raoの下限を達成します）。

場合によっては2つが一致します。OLSは、解析解が同一であり、したがって推定器が同じように動作する注目すべき例の1つです。

ある意味では、推定器は対数尤度関数の勾配の期待値をゼロに設定するため、MLE（ほとんどすべての場合）をMoM推定器と考えることができます。その意味では、密度が正しくない場合もありますが、MLEは一次条件がまだ満たされているため、一貫しています。MLEは「準ML」と呼ばれます。

モーメントの方法は何ですか？

ウィキペディアにこれに関する素晴らしい記事があります。

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics）

これは、母集団分布がサンプルで観測されたモーメントと同等のモーメントを持つようにパラメーターを選択することにより、母集団パラメーターを推定していることを意味します。

MLEとの違い

最尤推定は、尤度関数を最小化します。場合によっては、この最小値は、母集団パラメーターをサンプルパラメーターと等しく設定することで表現できます。

$\mu = \bar{x}$$\mu$

MoMソリューションが解決しているのに対し

したがって、MoMはパラメーターを推定するための実用的な方法であり、MLEと正確に同じ結果になることがよくあります（サンプルのモーメントが母集団のモーメントと一致することが多いため、たとえば、サンプル平均が母集団平均の周りに分布しているため、いくつかの要因/バイアスまで、それは非常にうまく機能します）。MLEはより強力な理論的基盤を備えており、たとえば、フィッシャー行列（またはその推定値）を使用してエラーを推定できます。回帰問題の場合、これはより自然なアプローチです（私は試していませんが、単純な線形回帰でパラメーターを解くためのMoMは簡単に動作せず、悪い結果をもたらす可能性があります。スーパープロンカーの答えでは、これは関数のいくつかの最小化によって行われるようです。MLEの場合、この最小化はより高い確率を表しますが、それがMoMにとってこのような類似したことを表しているのだろうかと思います）

申し訳ありませんが、コメントを貼り付けることはできません。

MLEはより厳密な仮定（最大密度）を行うため、通常、堅牢性は劣りますが、仮定が満たされている場合はより効率的です。

実際にはMITxの「統計の基礎」では、MoMはモーメントの特定の方程式に依存しているという反対のことを教えられています。間違った密度を採用すると、完全に間違ってしまいますが、MLEはより弾力性があり、すべてのケースで最小化されます。 KDダイバージェンス