ネストされたvar-covarモデルの中から選択するために（MLではなく）REMLを使用する必要があるのはなぜですか？

線形混合モデルのランダム効果に関するモデル選択に関するさまざまな説明は、REMLの使用を指示しています。あるレベルでREMLとMLの違いは知っていますが、MLにバイアスがかかっているため、なぜREMLを使用する必要があるのか​​わかりません。たとえば、MLを使用して正規分布モデルの分散パラメーターでLRTを実行するのは間違っていますか（以下のコードを参照）。モデルの選択において、MLであるよりも偏らないことが重要である理由がわかりません。最終的な答えは「モデル選択がMLよりもREMLの方がうまく機能するため」でなければならないと思いますが、それ以上のことを知りたいと思います。LRTとAICの派生物は読みませんでした（それらを完全に理解するのに十分ではありません）が、派生物でREMLが明示的に使用されている場合は、実際に十分であることを知っているだけです（たとえば、

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

非常に短い答え：REMLはMLなので、とにかくREMLに基づくテストは正しいです。REMLを使用した分散パラメーターの推定が優れているため、それを使用するのが自然です。

REMLがMLなのはなぜですか？たとえば、モデル と、考えます 、およびは固定効果のベクトル、はランダム効果のベクトル、。制限付き尤度は、固定効果を「除去」するためにコントラストを考慮することにより取得できます。より正確に言うと、、および（つまり、列X ∈ R N × P Z ∈ R N × Q β ∈ R P U 〜N（0 、τ IとQ

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$$u \sim \mathcal N(0, \tau I_q)$N - P C ∈ R （N - 、P ）× N C $e \sim \mathcal N(0, \sigma^2 I_n)$$n-p$$C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$の列によって生成された空間に直交するベクトル空間の正規直交基底です。そして、 with、およびが与えられた場合の尤度は制限尤度です。$X$ $$CY = CZ u + \epsilon$$ $\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

尤度比検定は、2つの尤度の比に基づく統計的仮説検定です。それらのプロパティは最尤推定（MLE）にリンクされています。（たとえば、素人用語での最尤推定（MLE）を参照）。

あなたのケースでは、あなたが「あなたはVAR-コバールがあるモデルの間で選択したいとしましょう、2つの入れ子VAR-コバールモデル間」「を選択」したい（質問を参照）とVAR-コバールがあるモデル番目のモデル（単純なモデル）は最初のモデル（一般的なモデル）の特殊なケースです。 Σ $\Sigma_g$$\Sigma_s$

このテストは、尤度比。およびは最尤推定量です。Σ S Σ$LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

統計は、漸近的に（！）です。 χ $LR$ $\chi^2$

最尤推定量は一貫していることが知られていますが、多くの場合、偏っています。これは、分散のMLE推定量および場合であり、それらが偏っていることを示すことができます。これは、データから導出された平均を使用して計算されるため、この「推定平均」の周りの広がりが真の平均の周りの広がりよりも小さいためです（たとえば、標準偏差を計算するときにで割る直感的な説明を参照してください）？） Σ gのN-1$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

上記の統計は、大きなサンプルではです。これは、大きなサンプルでは、およびが真の値に収束するためです（MLEは一貫しています） ）。（注：上記のリンクでは、非常に大きなサンプルの場合、nまたは（n-1）で除算しても違いはありません）χ 2 Σ S Σ$LR$$\chi^2$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

小さいサンプルについて、MLEは、の推定値とバイアスされ、従って分布あろうずれから REML推定値がのために、公正な推定値を与えるが、および。したがって、var-covarモデルの選択にを使用する場合、は、より小さいサンプルの場合、により近似されます。$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$$\chi^2$

REMLは、同じ平均を持つモデルのネストされたvar-covar構造から選択するためにのみ使用する必要があることに注意してください。異なる平均を持つモデルでは、MLを使用する異なる平均を持つモデルにはREMLは適切ではありません。

統計よりも常識に関係のある答えがあります。SASでPROC MIXEDを見ると、6つの方法で推定を実行できます。

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

ただし、REMLがデフォルトです。どうして？どうやら、実際の経験では、最高のパフォーマンス（たとえば、収束の問題が発生する可能性が最も低い）が示されました。したがって、REMLで目標を達成できる場合は、他の5つの方法とは対照的にREMLを使用するのが理にかなっています。