混合効果モデルのランダム効果のレベル間で固定効果が変化することを「許可しない」必要があるのはいつですか？

予測変数（P）、ランダム効果（R）、および固定効果（F）が与えられた場合、2つの混合効果モデル（lme4構文）を当てはめることができます。

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

私が理解しているように、2番目のモデルは、固定効果をランダム効果のレベル間で変化させることができるものです。

私の研究では、通常、混合効果モデルを使用して、複数の人間の参加者で実施された実験のデータを分析します。参加者をランダム効果として、実験的操作を固定効果としてモデル化します。固定効果が実験のパフォーマンスに影響する程度を参加者間で変化させることは、先験的に理にかなっていると思います。ただし、ランダム効果のレベル間で固定効果を変化させるべきではない状況を想像するのは難しいため、私の質問は次のとおりです。

ランダム効果のレベル間で固定効果が変化することを許可しない場合

私は混合効果モデリングの専門家ではありませんが、階層回帰モデリングのコンテキストで言い換えれば、質問の答えははるかに簡単です。したがって、私たちの観測には、クラスiとクラスのjメンバーを表すインデックスiを持つ2つのインデックスとF i jがあります。階層モデルを使用すると、クラスごとに係数が異なる線形回帰を近似できます。$P_{ij}$$F_{ij}$$i$$j$

$$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$$

これが最初のレベルの回帰です。2番目のレベルの回帰は、最初の回帰係数で実行されます。

$$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$$

これを第1レベルの回帰に代入すると、次のようになります

$$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$$

ここで、は固定効果で、uはランダム効果です。混合モデルは、γとuの分散を推定します。$\gamma$$u$$\gamma$$u$

書き留めたモデルはlmer構文に対応しています

P ~ (1+F|R) + F

私たちが置か今ならばランダム用語ずに我々が得ます$\beta_{1i}=\gamma_{01}$

$$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$$

lmer構文に対応

P ~ (1|R) + F

質問は、第2レベルの回帰からエラー項を除外できるのはいつですか？正規の答えは、第2レベルの回帰のリグレッサ（ここには含まれていませんが、クラス内で自然に一定です）が確実である場合、クラス間の係数の分散を完全に説明することです。

$F_{ij}$$u_{1i}$

注。代数的説明だけを行いましたが、特定の応用例を考える方がずっと簡単だと思います。

「固定効果」は、分散成分がゼロの「ランダム効果」と考えることができます。

したがって、固定効果を変化させない理由の簡単な答えは、「十分に大きい」分散成分の証拠が不十分であることです。証拠は、以前の情報とデータの両方から取得する必要があります。これは、基本的な「occamの剃刀」の原則に沿ったものです。モデルを必要以上に複雑にしないでください。

私は線形混合モデルを次のように考える傾向があり、次のように重回帰を書きます。

$$Y=X\beta+Zu+e$$

$X\beta$$Zu$$e$$u\sim N(0,D(\theta))$$\theta$$e\sim N(0,\sigma^{2}I)$$(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

$$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$$

$Z=0$

$$Y\sim N(X\beta,\sigma^{2}I)$$

したがって、モデルの「ランダムな」部分は、モデル内のノイズまたはエラー成分の相関構造に関する事前情報を指定する方法と見なすことができます。OLSは基本的に、モデルの固定部分からの1つのエラーは、確実にモデルの固定部分を知っていたとしても、他のエラーを予測するのに役に立たないと仮定します。ランダム効果を追加するとは、基本的に、他のエラーを予測する際にいくつかのエラーが役立つと思われるということです。

これはいくつかの非常に良い答えを持つかなり古い質問ですが、より実用的な観点に取り組むために新しい答えから利益を得ることができると思います。

ランダム効果のレベル間で固定効果が変化することを許可しない場合

他の回答ですでに説明されている問題には対処せず、代わりに今では有名なものを参照しますが、Barr et al（2013）による「悪名高い」論文は、単に「最大に保つ」と呼ばれます

Barr、DJ、Levy、R.、Scheepers、C。、およびTily、HJ、2013年。確証的な仮説テストのためのランダム効果構造：最大に保ちます。記憶と言語のジャーナル、68（3）、pp.255-278。

この論文では、著者は、すべての固定効果がグループ化要因（ランダムインターセプト）のレベル間で変化することを許可する必要があると主張しています。彼らの議論は非常に説得力があります-基本的に、それらを変化させないことにより、モデルに制約を課しているということです。これは他の回答で詳しく説明されています。ただし、このアプローチには潜在的に深刻な問題があり、Bates el al（2015）によって説明されています。

Bates、D.、Kliegl、R.、Vasishth、S. and Baayen、H.、2015. Par約混合モデル。arXivプレプリントarXiv：1506.04967

ここでlme4、Rで混合モデルを適合させるためのパッケージの主な作成者がBatesであることに注意してください。おそらく、このようなモデルで最も広く使用されているパッケージです。ベイツらは、多くの実世界のアプリケーションでは、関連する変数に対する各クラスターの観測数が不十分なことが多いため、データが単純に最大のランダム効果構造をサポートしないことに注意しています。これは、収束に失敗したモデル、またはランダム効果で特異なモデルに現れます。そのようなモデルに関するこのサイト上の質問の多くは、それを証明しています。また、Barr et alは、論文の基礎として「行儀の良い」ランダム効果を使用した比較的単純なシミュレーションを使用したことにも注目しています。代わりに、ベイツらは次のアプローチを提案しています。

（1）PCAを使用してランダム効果構造の分散共分散行列の次元を決定すること、（2）特に最大モデルに適合させる最初の試みが収束しない場合に相関パラメーターを最初にゼロに制約することを提案しました。 （3）有意でない分散成分と関連する相関パラメーターをモデルから削除する

同じ論文で、彼らは次の点にも注意しています。

重要なことに、収束の失敗は推定アルゴリズムの欠陥によるものではなく、データで適切にサポートするには複雑すぎるモデルを適合させようとする単純な結果です。

そして：

反保守的な結論から保護するために、最大モデルは必要ありません。この保護は、データがサポートできる複雑さに関する現実的な期待に基づいた包括的なモデルによって完全に提供されます。統計では、科学の他の場所と同様に、par約は美徳であり、悪ではありません。

ベイツ他（2015）

より適用された観点から、行われるべきさらなる考慮事項は、データ生成プロセス、データの根底にある生物学/物理/化学理論が分析者をランダム効果構造の特定に導くべきかどうかです。