REMLにはベイジアン解釈が存在しますか？

REMLのベイジアン解釈は利用可能ですか？私の直感では、REMLはいわゆる経験的ベイズ推定手順に非常に似ており、ある種の漸近的等価性（たとえば、適切な事前クラスのもとで）が実証されているのだろうかと思います。経験的ベイズとREMLはどちらも、たとえば迷惑なパラメーターに直面して行われた「妥協した」推定アプローチのように見えます。

主に、この質問で私が求めるのは、こうした種類の議論がもたらす傾向がある高レベルの洞察です。もちろん、何らかの理由でこの性質の議論をREMLで有効に追求できない場合、これがなぜそうなのかについての説明も歓迎すべき洞察を提供するでしょう！

ベイジアン解釈は、事後分布に関連する推定量について、ベイジアン分析のフレームワーク内にのみ存在します。したがって、REML推定量にベイジアン解釈（つまり、事後から得られる推定量としての解釈）を与えることができる唯一の方法は、REML分析で制限された対数尤度を対応する対数後ベイズ分析; この場合、REML推定量は、ベイズ理論からのMAP推定量であり、対応するベイジアン解釈を備えています。

---

REML推定量をMAP推定量に設定する： REML分析で制限された対数尤度をBayes分析で対数事後に設定する方法を見るのは比較的簡単です。これを行うには、log-priorがREMLプロセスによって削除される対数尤度の部分の負である必要があります。我々は対数尤度があるとℓのRE（θは）残留対数尤度とある$\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$$\ell_{\text{RE}}(\theta)$$\theta$は、関心のあるパラメーターです（は迷惑パラメーターです）。前に設定π （θ 、ν ）α EXP （- ℓ *（θ 、νは））事後対応できます：$\nu$$\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

これにより、次のことができます。

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

この結果により、REML推定量をMAP推定量として解釈できます。したがって、REML推定量の適切なベイジアン解釈は、上記の事前条件の下で事後密度を最大化する推定量であるということです。

REML推定量にベイジアン解釈を与える方法を説明したので、このアプローチにはいくつかの大きな問題があることに注意します。1つの問題は、データに依存する対数尤度成分を使用して事前確率が形成されることです。したがって、この解釈を得るために必要な「事前」は、データを見る前に形成できる関数であるという意味で、実際の事前ではありません。別の問題は、事前確率が不適切であることが多く（つまり、事前確率に統合されない）、パラメーター値が極端になると実際に重みが増加する可能性があることです。（この例を以下に示します。）$\ell_*(\theta, \nu)$

これらの問題に基づいて、REML推定量に妥当なベイジアン解釈がないと主張することができます。あるいは、REML推定器は上記のベイジアン解釈を維持し、指定された形式の観測データと偶然一致する必要がある「事前」の最大事後推定器であり、非常に不適切であると主張できます。

---

$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$$\theta$$\nu$

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

REMLでは、この対数尤度を2つのコンポーネントに分割しました。

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

We obtain the REML estimator for the precision parameter by maximising the residual likelihood, which gives an unbiased estimator for the variance:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

In this case, the REML estimator will correspond to a MAP estimator for the "prior" density:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

As you can see, this "prior" actually depends on the observed data values, so it cannot actually be formed prior to seeing the data. Moreover, we can see that it is clearly an "improper" prior that puts more and more weight on extreme values of $\theta$ and $\nu$. (Actually, this prior is pretty bonkers.) If by "coincidence" you were to form a prior that happened to correspond to this outcome then the REML estimator would be a MAP estimator under that prior, and hence would have a Bayesian interpretation as the estimator that maximises the posterior under that prior.