どちらがより優れた最尤法または限界尤度であり、なぜですか？

以下からの定義に従えば、回帰の実行中：部分尤度、プロファイル尤度、および限界尤度の違いは何ですか？

つまり、最尤法は
L（β、θ| data）を最大化するβとθを見つけます。

一方、限界尤度
我々は、βを条件とするθの確率分布を特定できるという事実を活用することにより、尤度方程式からθを統合します。

最大化するのに適した方法論とその理由はどれですか？

regression maximum-likelihood

回答:

これらはそれぞれ異なる解釈で異なる結果をもたらします。最初は、最も可能性が高いペア、を見つけ、2番目は（限界的に）最も可能性が高いを見つけます。ディストリビューションが次のようになっていると想像してください。 $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

その場合、最尤回答は（）であり、最大周辺尤度回答は（、周辺化するため）。 $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

一般的に、限界尤度は多くの場合あなたが望むものです-もしあなたがパラメータの値を本当に気にしないなら、あなたはそれらを単に折りたたむべきです。しかし、おそらく実際にはこれらの方法はあまり異なる結果をもたらさないでしょう-もしそうなら、それはあなたの解の根本的な不安定性、例えば、、異なる組み合わせのすべてが同様の予測を与える複数のモードを指し示すかもしれません。 $\theta$ $\beta$ $\theta$

— クリス
ソース

最尤法と限界尤度法の結果は異なるため、質問を見つけました。私の場合の2つの結果は異なる解釈を与えるが、可能性のある結果をもたらすと言えます。

— アンキットチプルンカー

私はこの質問に今取り組んでいます。これは役に立つかもしれない結果です。線形モデルを考えます

y = バツ β + ϵ 、 ϵ 〜 N （ 0 、 σ^{2} ）

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

ここで及び及び関心のあるパラメータです。共同尤度は $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L （ β 、 σ^{2} ） = （ 2 π σ^{2} ）^{- n / 2} e バツ p （ - \frac{| | y - バツ β | |^{2}}{2 σ^{2}} ）

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

結合尤度収量の最適化

\hat{β} = {バツ}^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

ここで、の擬似逆で及びフィット残差ベクトルです。注意していることを我々は $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ の代わりに馴染みの自由度の比修正。この推定量は、有限サンプルの場合にバイアスされることが知られています。 $1/(n-p)$

今、代わりに両方の上で最適化すると仮定と、我々は統合アウトと推定結果として統合可能性から： $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {最大}_{σ^{2}} \int_{R^{p}} L （ β 、 σ^{2} ） d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

初等線形代数とガウス積分公式を使用して、次のことを示すことができます

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

これには自由度補正があり、それにより、偏りがなく、一般的なジョイントML推定よりも有利になります。

この結果から、統合された尤度に関して本質的に有利なものがあるかどうかを尋ねられるかもしれませんが、その質問に答える一般的な結果は知りません。コンセンサスは、統合されたMLがほとんどの推定問題の不確実性の説明に優れていると思われます。特に、他のパラメーター推定値に（暗黙的にでも）依存する量を推定する場合、他のパラメーターを積分すると、不確実性がより適切に考慮されます。

— ポール
ソース

これは面白い。しかし、「

積分」が無効な周辺分布を使用しているという事実と、この（不適切な）周辺を他と比較して使用する明白な正当性がないため、少し困っています。これらの問題についてどう思いますか？

β

$\beta$

— whuber

@whuber私はあなたの懸念を共有し、すぐに答えがありませんが、疎外されている可能性は、

前に一様に不適切な可能性があるだけなので、これは「客観的ベイジアン」アプローチに関連すると思います。そこでは、事後が積分可能である限り、

ようなパラメーターが不適切な事前分布を持っているかどうかは気にしません。

β

$\beta$

β

$\beta$

— ポール

実際、この投稿とそこにあるコメントに基づいて、私はここでやっていることの周辺用語ではなく、統合されたMLが正しい用語だと思います。それに応じて編集。

— ポール

+1私はこのパーティーにかなり遅れていることを知っていますが、REMLが行うことを正確に前に不適切なユニフォームを置くことによって固定効果を統合していないので、実際にREML推定値を取得し、このdf補正はまさにREMLが小さいサンプルに適している理由

— jld

@Chaconneはい、この投稿はREMLを理解しようとすることに動機付けられました！私は（ほとんど）正式な統計教育を受けていないので、これを導き出すのは私にとってまったく新しいことでした。

— ポール

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— シーダ
ソース