MLEは常に、データの基礎となるPDFを知っていることを意味し、EMは知らないことを意味しますか？

MLE（最大尤度推定）と、EM（期待最大化）とのリンク（ある場合）について明確にしたいいくつかの簡単な概念的な質問があります。

私が理解しているように、誰かが「私たちはMLEを使用しました」と言ったら、それは自動的にデータのPDFの明示的なモデルを持っていることを意味しますか？これに対する答えはイエスであるように思えます。別の言い方をすれば、誰かがいつでも「MLE」と言ったら、どんなPDFを想定しているのかを尋ねるのは公平です。これは正しいでしょうか？

最後に、EMでの私の理解は、EMでは、データの基礎となるPDFを実際に知らない、または知る必要がないということです。これは私の理解です。

ありがとうございました。

MLEメソッドは、誰かがpdfの基本的な関数形式（ガウス、対数正規、指数など）を知っているが、基礎となるパラメーターは知らない場合に適用できます。たとえば、pdfのとσの値がわからない場合：f （x | μ 、σ ）= $\mu$$\sigma$ 又はそれらが想定されているPDFの他のどのようなタイプ。MLEメソッドの仕事は、特定のデータ測定値x1、x2、x3、...が与えられた場合に、未知のパラメーターに最適な（つまり、もっともらしい）値を選択することです。。。実際に観察されました。最初の質問に答えるために、はい、あなたは常に彼らが彼らの最尤推定のために仮定しているpdfの形式を誰かに尋ねるあなたの権利の範囲内です。実際、彼らがあなたに伝える推定パラメータ値は、最初にそのコンテキストを伝えない限り意味がありません。

$$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$$ $x_{1}, x_{2}, x_{3}, ...$

過去に適用したEMアルゴリズムは、メタアルゴリズムの一種であり、メタデータの一部が欠落しているため、それも推定する必要があります。したがって、たとえば、おそらく私は、例えば、いくつかのガウス分布の混合物であるPDFを持っている： 表面的には、パラメータ振幅の追加を除い K、これは以前の問題のようにたくさん見えるが、私はあなたに言ったならば、我々はまたしてもの価値がわからないというNを（すなわち、数ガウス混合物中のモード）との我々は、データ測定からと推定するのx 1、 xは2、 X 3、。。。あまりにも？

$$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$$ $A_{k}$$N$$x_{1}, x_{2}, x_{3}, ...$

$N$$N=1$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=2$$A_{1}$$A_{2}$$\mu_{1}$$\mu_{2}$$\sigma_{1}$$\sigma_{2}$$A_{1}$$\mu_{1}$）N=1モデルでは、同じパラメーターで取得した最適な値と直接比較することはできません$\sigma_{1}$$N=1$$N=2$

EMアルゴリズムの役割は、これらのタイプの比較を行うメカニズムを提供することです（通常は、より小さな値を優先する「複雑性ペナルティ」を課すことにより）$N$$N$

したがって、元の質問に答えるために、EMアルゴリズムでは、pdfの形式のより正確でない指定が必要です。ある範囲の代替オプション（たとえば、、N = 2、Nのオプション）$N=1$$N=2$$N=3$

MLEは少なくとも周辺分布の知識を必要とします。MLEを使用する場合、通常、iidの仮定を立てて、共同分布のパラメーターを推定し、その後、既知の限界の積として共同分布を因数分解します。バリエーションがありますが、これはほとんどの場合の考え方です。したがって、MLEはパラメトリックメソッドです。

EMアルゴリズムは、MLEアルゴリズムの一部として現れる尤度関数を最大化する方法です。多くの場合（通常？）数値解法に使用されます。

MLEを使用するときはいつでも、少なくとも周辺分布と、ジョイントが周辺にどのように関係するか（独立性など）に関するいくつかの仮定が必要です。したがって、両方の方法は分布の知識に依存しています。