REMLまたはMLは、異なる固定効果を持つ2つの混合効果モデルを比較しますが、同じランダム効果を持ちますか？

背景： 注：テキストの下にデータセットとRコードが含まれています

AICを使用して、Rのlme4パッケージを使用して生成された2つの混合効果モデルを比較します。各モデルには、1つの固定効果と1つのランダム効果があります。固定効果はモデル間で異なりますが、ランダム効果はモデル間で同じままです。REML = Tを使用すると、model2のAICスコアが低くなりますが、REML = Fを使用すると、model1のAICスコアが低くなります。

MLの使用のサポート：

ズール等。（2009; PAGE 122）「ネストされた固定効果（ただし、同じランダム構造）を持つモデルを比較するには、REMLではなくML推定を使用する必要がある」ことを示唆しています。これは、ランダム効果は両方のモデルで同じですが、固定効果は異なるため、MLを使用する必要があることを示しています。[Zuur et al。2009.エコロジーにおける混合効果モデルと拡張機能とR.スプリンガー。]

REMLの使用のサポート：

ただし、MLを使用すると、ランダム効果に関連付けられた残差分散は2つのモデル間で異なります（model1 = 136.3; model2 = 112.9）が、REMLを使用するとモデル間で同じです（model1 = model2 = 151.5）。これは、ランダムな残差分散が同じランダム変数を持つモデル間で同じままになるように、代わりにREMLを使用する必要があることを意味します。

質問：

固定効果が変化し、ランダム効果が同じままであるモデルの比較に、MLよりもREMLを使用する方が理にかなっていますか？そうでない場合は、理由を説明したり、詳細を説明している他の文献を教えてください。

# Model2 "wins" if REML=T:
REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T)
REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T)
AIC(REMLmodel1,REMLmodel2)
summary(REMLmodel1)
summary(REMLmodel2)

# Model1 "wins" if REML=F:
MLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = F)
MLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = F)
AIC(MLmodel1,MLmodel2)
summary(MLmodel1)
summary(MLmodel2)

データセット：

Response    Fixed1  Fixed2  Random1
5.20    A   A   1
32.50   A   A   1
6.57    A   A   2
24.77   A   B   3
41.69   A   B   3
34.29   A   B   4
1.80    A   B   4
10.00   A   B   5
15.56   A   B   5
4.44    A   C   6
21.65   A   C   6
9.20    A   C   7
4.11    A   C   7
12.52   B   D   8
0.25    B   D   8
27.34   B   D   9
11.54   B   E   10
0.86    B   E   10
0.68    B   E   11
4.00    B   E   11

— それは数字
ソース

Faraway's（2006）Rによる線形モデルの拡張（p。156）：「理由は、REMLは固定効果を除去するデータの線形結合を考慮してランダム効果を推定するためです。これらの固定効果が変更されると、 2つのモデルは直接比較できません。」

— jvh_ch 14

AICは尤度ベースですが、私の知る限り、予測の目的で開発されました。混合モデルを予測に正確にどのように適用しますか？

— AdamO 14

@AdamO、もっと正確に教えていただけますか？適合混合モデルは、母集団レベル（条件付きモード/ BLUPをゼロに設定することで不特定/不明ユニットの応答を予測）または個別レベル（条件付きモード/ BLUPの推定の条件予測）で予測に使用できます）。もっと具体的にできれば、それは良い新しい履歴書の質問になるかもしれません。

— ベンボルカー14

あなたがこのモデルをどのように適用するつもりだったのか、私にははっきりしませんでした。問題のどの部分も、もしあればどんな種類の予測が行われているか、それが必要かどうか、もしそうならどのような目的のために必要かを示唆しませんでした。

— AdamO 14

回答:

Zuur等とFaraway（上記の@janhoveのコメントより）は正しい。尤度ベースの方法（AICを含む）を使用して、REMLによって適合された異なる固定効果を持つ2つのモデルを比較すると、一般的にナンセンスになります。

— ベン・ボルカー
ソース

@ janhove、AdamO、Ben Bolkerに感謝します。また、アーロンからのこのリンクは、この質問への回答に役立つことがわかりました。REMLの尤度は、モデル内のどの固定効果に依存するため、固定効果が変化しても比較できません。一般に、REMLはランダム効果のより良い推定値を与えると考えられているため、通常のアドバイスは最終的な推論とレポートにREMLを使用した最適なモデル。」

— それ

REIC尤度をAIC比較などに使用できない理由を説明する例を示します。私たちが通常の混合効果モデルだと想像してください。ましょ計画行列を表す。この行列がフルランクを持っていることを前提としています。行列で与えられる、平均値空間の再パラメーター化を見つけることができます。2つの行列はの同じ線形部分空間にます。したがって、の列はの列の線形結合として書くことができます。したがって、次のような2次行列見つけることができます。 $X$ $\tilde{X}$ $\mathbb{R}^n$ $\tilde{X}$ $X$ $B$

$\tilde{X} = XB$ 。

さらに、はフルランクがあります（これは、それがなかったと仮定することで証明できますが、も矛盾ではありません）。これは、が可逆的であることを意味します。 $B$ $X$ $B$

平均値空間の2番目のパラメーター化を使用して開始し、共分散行列とする場合、最大化する必要があるREML基準を検討します（定数は省略します） $V$

$|V|^{-1/2}|\tilde{X}'V^{-1}\tilde{X}|^{-1/2}\exp((y-\tilde{X}\tilde{\beta})'V^{-1}(y-\tilde{X}\tilde{\beta})/2)$ 、

パラメータセット、オーバーここで。という事実を使用して、これを次のように書き換えることができます。 $\beta = (\tilde{X}V^{-1}\tilde{X})^{-1}y$ $X = \tilde{X}B$

$|B||V|^{-1/2}||X'V^{-1}X|^{-1/2}|\exp((y-X\bar{\beta})'V^{-1}(y-X\bar{\beta})/2)$ 、

ここで、です。これは、他のパラメーター化に対するREMLの尤度であり、行列式です。 $\bar{\beta} = (XV^{-1}X)^{-1}y$ $|B|$

したがって、同じモデルの2つの異なるパラメーター化の例があり、仮定して、異なる尤度値を与えます（このような行列は簡単に見つけることができます）。同じパラメーター値は両方の場合に基準を最大化しますが、尤度の値は異なります。これは、尤度値に任意の要素があることを示しているため、異なる固定効果を持つモデル間の比較に尤度の値を使用できない理由を示しています：結果を変更するには、単にモデルの1つ。 $|B| \neq 1$

これは、異なる固定効果を持つモデルを比較するときにREMLを使用しない理由の例です。ただし、REMLはランダム効果パラメーターをよりよく推定することが多いため、比較にはMLを使用し、単一の（おそらく最終的な）モデルを推定するにはREMLを使用することが推奨される場合があります。

— swmo
ソース