同じ数の自由度を持つ混合効果モデルの比較

ここで抽象化しようとする実験があります。私があなたの前に3つの白い石を投げて、それらの位置について判断を下すようにあなたに頼むことを想像してください。石の様々な特性とあなたの反応を記録します。私はこれをいくつかの主題にわたって行います。2つのモデルを生成します。1つは、最も近い石が反応を予測することであり、もう1つは、石の幾何学的中心が反応を予測することです。したがって、RIでlmerを使用すると記述できます。

mNear   <- lmer(resp ~ nearest + (1|subject), REML = FALSE)
mCenter <- lmer(resp ~ center  + (1|subject), REML = FALSE)

更新と変更-いくつかの役立つコメントを組み込んだより直接的なバージョン

試してみた

anova(mNear, mCenter)

もちろん、これらはネストされておらず、私は実際にそのように比較することはできないため、これは間違っています。私はanova.merがエラーをスローすることを期待していましたが、そうではありませんでした。しかし、ここで試すことのできるネストは自然なことではなく、まだ分析的な記述が多少少なくなっています。モデルが自然にネストされている場合（たとえば、線形で2次）、テストは1つの方法にすぎません。しかし、この場合、非対称の結果があるとはどういう意味でしょうか？

たとえば、モデル3を作成できます。

mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE)

その後、私は分散することができます。

anova(mCenter, mBoth)
anova(mNearest, mBoth)

これは適切なことで、センターが最も近い効果（2番目のコマンド）に追加されますが、BICは実際にセンターに追加されると実際に上がります（低位の節約の修正）。これは疑わしいものを確認します。

しかし、これで十分でしょうか？そして、中心と最も近くに非常に高い相関があるとき、これは公平ですか？

説明変数（自由度）を加算および減算することではない場合、モデルを分析的に比較するより良い方法はありますか？

それでも、固定効果の信頼区間を計算し、AICまたはBICを報告できます（たとえば、Cnann et al。、Stat Med 1997 16：2349を参照）。

ここで、Wagenmakers et alのパラメトリックブートストラップを使用したモデルの模倣の評価に興味があるかもしれません。これは、競合する2つのモデルの品質を評価することに関する最初の質問により似ているようです。

それ以外の場合、LMMの説明された分散の測定に関する2つの論文は次のとおりです。

• ロイドJ.エドワーズ、キースE.ミュラー、ラッセルD.ウルフインガー、バージャトF.カキッシュ、オリバーシャベンバーガー（2008）。線形混合モデルの固定効果のR2統計値、Statistics in Medicine、27（29）、6137–6157。
• 徐輝（2003）。線形混合効果モデルの説明された変動の測定、Statistics in Medicine、22（22）、3527–3541。

しかし、より良いオプションがあるかもしれません。

ronafの提案に従うと、ネストされていないモデルの尤度比検定に関するVuongの最近の論文につながります。KLIC（Kullback-Leibler Information Criterion）に基づいており、KL距離を最小化するという点でAICに似ています。しかし、それは仮説の確率的仕様を設定するので、LRTの使用はより原則的な比較につながります。CoxおよびVuongテストのよりアクセスしやすいバージョンがClarke等によって提示されています。特に、Vuong LRTテストを計算するアルゴリズムを示す図3を参照してください。

• モデル選択と非ネスト仮説の尤度比検定（Vuong、1999）
• 国際関係のネストされていないモデルのテスト：リアリズムの再評価（Clarke et al、2000）

他のモデルにはVuongテストのR実装がありますが、lmerではないようです。それでも、上記の概要はそれを実装するのに十分なはずです。計算に必要なlmerから各データポイントで評価された尤度を取得できるとは思わない。sig-MEに関するメモで、Douglas Batesには役立つ可能性のあるポインターがあります（特に、彼が言及したビネット）。

古い

別のオプションは、予測精度のテストでモデルからの適合値を考慮することです。ここでは、Williams-Kloot統計が適切な場合があります。基本的なアプローチは、2つのモデルの近似値の線形結合に対して実際の値を回帰し、勾配をテストすることです。

• モデルを区別するためのテスト（Atikinson、1969）
• EUの成長と福祉国家：因果関係分析（Herce et al、2001）

最初のペーパーではテスト（およびその他）について説明しますが、2番目のペーパーでは計量経済学のパネルモデルにテストを適用しています。

lmerAIC を使用および比較する場合、関数のデフォルトではREMLメソッド（制限付き最尤法）が使用されます。偏りの少ない推定値を取得するにはこれで問題ありませんが、モデルを比較する場合REML=FALSEは、適合に最尤法を使用して再適合する必要があります。ピニェイロ/ベイツの本はそれのOKがAIC / REMLまたはMLのいずれかとの可能性を比較するために、その下にいくつかの条件に言及し、これらは非常によくあなたのケースで適用される場合があります。ただし、一般的な推奨事項は単に再適合させることです。たとえば、ダグラスベイツの投稿を参照してください。

• lmerを使用して生成された混合モデルオブジェクトからAICスコアを抽出するにはどうすればよいですか？

drcoxによる別の[ネストされていない]モデルのテストについての論文があります。混合モデルの複雑さを増さないいくつかの例を考慮します。[Rコードを使用する私の施設は限られているため、モデルが何であるかはよくわかりません。]

altho coxの論文はあなたの問題を直接解決しないかもしれませんが、2つの可能な方法で役立つかもしれません。

1. Googleの学者を検索して、彼の論文への引用を求め、そのような結果があなたの望むものに近づいているかどうかを調べることができます。

2. 分析的な傾向がある場合は、coxの方法を問題に適用してみてください。[おそらく気弱な人向けではない。]

btw-coxは、2つのモデルをより大きなモデルに結合するというブローチされたアイデアを渡す際に言及しています。彼はどのモデルがより良いかをどのように決定するかを追求しませんが、どちらのモデルが非常に優れていても、結合されたモデルはデータに適切に適合する可能性があると述べています。[あなたの状況では、結合モデルが意味をなすかどうかは明らかではありません。]

私はあなたのコードを解析するのに十分なRを知りませんが、ここに一つのアイデアがあります：

共変量として中心と近傍の両方があるモデルを推定します（これをmBothと呼びます）。その後、mCenterとmNearはmBothにネストされ、mBothをベンチマークとして使用して、mCenterとmNearの相対的なパフォーマンスを比較できます。