1または-1に等しい変量効果の相関関係をどうするか？

複雑な最大混合モデル（特定のデータとモデルのすべての可能な変量効果を推定する）を扱う場合、それほど珍しいことではありませんが、一部の変量効果の間で完全（+1または-1）またはほぼ完全な相関関係です。議論のために、次のモデルとモデルの要約を見てみましょう

Model: Y ~ X*Cond + (X*Cond|subj)

# Y = logit variable  
# X = continuous variable  
# Condition = values A and B, dummy coded; the design is repeated 
#             so all participants go through both Conditions  
# subject = random effects for different subjects  

Random effects:
 Groups  Name             Variance Std.Dev. Corr             
 subject (Intercept)      0.85052  0.9222                    
         X                0.08427  0.2903   -1.00            
         CondB            0.54367  0.7373   -0.37  0.37      
         X:CondB          0.14812  0.3849    0.26 -0.26 -0.56
Number of obs: 39401, groups:  subject, 219

Fixed effects:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)       2.49686    0.06909   36.14  < 2e-16 ***
X                -1.03854    0.03812  -27.24  < 2e-16 ***
CondB            -0.19707    0.06382   -3.09  0.00202 ** 
X:CondB           0.22809    0.05356    4.26 2.06e-05 ***

これらの完全な相関の背後にあると考えられる理由は、私たちが持っているデータに対して複雑すぎるモデルを作成したことです。これらの状況で与えられる一般的なアドバイスは（たとえば、Matuschek et al。、2017; 論文）、過パラメタライズされた係数を0に修正することです。縮小モデルで固定効果に著しい変化が見られる場合は、それを受け入れる必要があります。変更がない場合は、元の変更を受け入れることに問題はありません。

ただし、RE（ランダム効果）に対して制御される固定効果だけでなく、RE構造にも関心があると仮定します。与えられたケースでは、理論的にはIntercept、勾配Xがゼロ以外の負の相関を持っていると仮定するのが適切です。いくつかの質問が続きます：

1. そのような状況で何をすべきか？完全な相関関係を報告し、データが「実際の」相関関係を推定するのに「十分」ではないと言うべきでしょうか？または、0相関モデルを報告する必要がありますか？それとも、「重要な」相関関係がもう完全ではなくなることを期待して、他の相関関係を0に設定しようとする必要があるでしょうか。100％正解はここにはないと思います。あなたの意見をお聞かせください。

2. 他のパラメーター間の相関に影響を与えずに、2つの特定のランダム効果の相関を0に修正するコードを記述する方法は？

特異変量効果共分散行列

+1または-1の変量効果相関推定を取得することは、最適化アルゴリズムが「境界」にヒットすることを意味します。相関は+1よりも高くしたり、-1よりも低くしたりすることはできません。明示的な収束エラーや警告がなくても、真の相関関係が境界上にあるとは予想されないため、これは収束に関するいくつかの問題を潜在的に示しています。あなたが言ったように、これは通常、すべてのパラメーターを確実に推定するのに十分なデータがないことを意味します。Matuschek et al。2017年は、この状況では電力が危険にさらされる可能性があると述べています。

境界にぶつかる別の方法は、分散推定0 を取得することです。データに多少の変動があっても、混合モデルで変量効果の分散がゼロになるのはなぜですか？

$4\times 4$$4\times 4$（未発表のプレプリント）主成分分析（PCA）を使用して、取得した共分散行列が特異であるかどうかを確認することをお勧めします。もしそうなら、彼らはこの状況を上記の特異な状況と同じように扱うことを提案します。

じゃあ何をすればいいの？

モデルのすべてのパラメーターを確実に推定するのに十分なデータがない場合は、モデルの簡略化を検討する必要があります。サンプルモデルを例にとると、X*Cond + (X*Cond|subj)それを簡略化する方法はいくつかあります。

1. 変量効果の1つ、通常は最高次の相関を削除します。

   X*Cond + (X+Cond|subj)

2. すべての相関パラメータを削除します。

   X*Cond + (X*Cond||subj)

   更新：@Henrikが指摘するように、||構文は、左側のすべての変数が数値である場合にのみ相関を削除します。カテゴリー変数（などCond）が含まれている場合は、彼の便利なafexパッケージ（または面倒な手動の回避策）を使用する必要があります。詳細については、彼の回答を参照してください。

3. 用語をいくつかに分割することにより、いくつかの相関パラメータを取り除きます。例：

   X*Cond + (X+Cond|subj) + (0+X:Cond|subj)

4. 提案したように、特定の相関（境界にぶつかる相関）をゼロに設定するなど、特定の方法で共分散行列を制約します。これlme4を実現するための組み込みの方法はありません。スマートハッキングによってこれを実現する方法のデモについては、SOでの@BenBolkerの回答を参照してください。

あなたの言ったことに反して、マツシェクらとは思わない。2017年は特に＃4を推奨します。Matuschekらの要点。2017年とベイツら。2015年は、Barrらの最大モデルから始まるようです。2013は、共分散行列がフルランクになるまで複雑さを減らします。（さらに、電力を増やすために、複雑さをさらに減らすことをお勧めします。）更新：対照的に、Barrら。モデルが収束しなかった場合のみ、複雑さを軽減することをお勧めします。彼らは、特異な共分散行列を許容する用意があります。@Henrikの回答を参照してください。

Bates / Matuschekに同意する場合は、複雑さを軽減するさまざまな方法を試して、「最小限のダメージ」で機能する方法を見つけることは問題ないと思います。上記のリストを見ると、元の共分散行列には10個のパラメーターがあります。＃1には6つのパラメータ、＃2には4つのパラメータ、＃3には7つのパラメータがあります。どのモデルが完全な相関を取り除くかは、それらをフィッティングしないと言えません。

しかし、このパラメーターに興味がある場合はどうでしょうか。

上記の議論は、変量効果共分散行列を迷惑パラメータとして扱います。意味のあるフルランクのソリューションを得るために「あきらめ」なければならない相関パラメーターに特に興味がある場合はどうすればよいかという興味深い質問を投げかけます。

相関パラメータをゼロに固定しranefても、相関のないBLUP（）が生成されるとは限りません。実際、それらはそれほど影響を受けないかもしれません（デモンストレーションについては@Placidiaの回答を参照）。したがって、1つのオプションは、BLUPの相関関係を調べて報告することです。

別の、おそらく魅力的ではないオプションは、トリートsubjectを固定効果として使用し、Y~X*cond*subj各被験者の推定値を取得し、それらの間の相関を計算することです。これはY~X*cond、各サブジェクトに対して個別に回帰を実行し、それらから相関推定を取得することと同じです。

ベンボルカーの混合モデルFAQの特異モデルに関するセクションも参照してください。

$\theta$

私は、この問題に関する現在の議論のすばらしい要約を提供するアメーバの回答で述べられているすべてに同意します。私はいくつかの追加ポイントを追加しようとしますが、そうでない場合は、これらのポイントをまとめた最近の混合モデルコースの配布資料を参照します。

を介して相関パラメーター（amoebaの回答のオプション2および3）を抑制することは、因子のではなく||数値の共変量に対してのみ機能しlmerます。これについては、Reinhold Klieglによるコードを使用して詳細に説明しています。

ただし、私のafexパッケージにはexpand_re = TRUE、呼び出しの引数のif要素間の相関を抑制する機能があります mixed()（functionも参照lmer_alt()）。それは本質的に、Reinhold Klieglによって議論されたアプローチを実装することによってそうします（すなわち、因子を数値共変量に変換し、それらの変量効果構造を指定します）。

簡単な例：

library("afex")
data("Machines", package = "MEMSS") # same data as in Kliegl code

# with correlation:
summary(lmer(score ~ Machine + (Machine  | Worker), data=Machines))
# Random effects:
#  Groups   Name        Variance Std.Dev. Corr       
#  Worker   (Intercept) 16.6405  4.0793              
#           MachineB    34.5467  5.8776    0.48      
#           MachineC    13.6150  3.6899   -0.37  0.30
#  Residual              0.9246  0.9616              
# Number of obs: 54, groups:  Worker, 6

## crazy results:
summary(lmer(score ~ Machine + (Machine  || Worker), data=Machines))
# Random effects:
#  Groups   Name        Variance Std.Dev. Corr     
#  Worker   (Intercept)  0.2576  0.5076            
#  Worker.1 MachineA    16.3829  4.0476            
#           MachineB    74.1381  8.6103   0.80     
#           MachineC    19.0099  4.3600   0.62 0.77
#  Residual              0.9246  0.9616            
# Number of obs: 54, groups:  Worker, 6

## as expected:
summary(lmer_alt(score ~ Machine + (Machine  || Worker), data=Machines))
# Random effects:
#  Groups   Name         Variance Std.Dev.
#  Worker   (Intercept)  16.600   4.0743  
#  Worker.1 re1.MachineB 34.684   5.8894  
#  Worker.2 re1.MachineC 13.301   3.6471  
#  Residual               0.926   0.9623  
# Number of obs: 54, groups:  Worker, 6

知らない人のafexために、混合モデルの主な機能は、固定効果のp値を提供することです。たとえば、次のとおりです。

(m1 <- mixed(score ~ Machine + (Machine  || Worker), data=Machines, expand_re = TRUE))
# Mixed Model Anova Table (Type 3 tests, KR-method)
# 
# Model: score ~ Machine + (Machine || Worker)
# Data: Machines
#    Effect      df        F p.value
# 1 Machine 2, 5.98 20.96 **    .002
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘+’ 0.1 ‘ ’ 1

summary(m1)  
# [...]
# Random effects:
#  Groups   Name         Variance Std.Dev.
#  Worker   (Intercept)  27.4947  5.2435  
#  Worker.1 re1.Machine1  6.6794  2.5845  
#  Worker.2 re1.Machine2 13.8015  3.7150  
#  Residual               0.9265  0.9626  
# Number of obs: 54, groups:  Worker, 6
# [...]

BarrらのDale Barr。（2013）論文は、アメーバの回答で提示されたものよりも変量効果の構造を減らすことを推奨する際により慎重です。で、最近のさえずり交換と彼は書きました：

• 「モデルの削減は、保守主義の未知のリスクをもたらすため、たとえあったとしても、注意して行う必要があります。」そして
• 「私の主な懸念は、人々がモデルの削減に関連するリスクを理解し、このリスクを最小限に抑えるには、一般的に採用されているよりも保守的なアプローチが必要であることです（たとえば、各勾配は.05でテストされます）。」

したがって、注意が必要です。

レビュアーの1人として、ベイツらがなぜ私たちになぜかについての洞察を提供することもできます。（2015）論文は未発表のままでした。私と他の2人のレビュアー（署名したが、ここでは名前を付けない）は、PCAアプローチに対していくらかの批判をしました（無理のないようで、権力の点で優れているという証拠はありません）。さらに、私は3つすべてがランダム効果構造の指定方法の問題に焦点を当てていないが、GAMMの導入も試みていることを批判したと思います。したがって、ベイツら（2015）の論文はマトゥシェクらに変身した。（2017）シミュレーションとBaayenらの変量効果構造の問題に対処する論文。（2017） GAMMを紹介する論文。

ベイツらの私の完全なレビュー。下書きはここにあります。IIRC、他のレビューは同様の主要なポイントのようなものでした。

私も最尤推定を使用したときにこの問題が発生しました。RのLME4ではなく、MLwiNソフトウェアを介して実装されたGoldstein IGLSアルゴリズムのみを使用しています。ソフトウェア。推定値を変更すると解決した3を超える相関関係もありました。IGLSを使用して、相関は推定の後に、関連する分散の積の平方根の積で割った共分散として計算されます。これは、各構成推定値の不確実性を考慮していません。

IGLSソフトウェアは、共分散が相関を意味することを「認識」せず、定数、線形、2次などの分散関数の推定値を計算するだけです。これとは対照的に、MCMCアプローチは、良好な特性と完全な誤差伝播を伴う分散と共分散に対応する多変量正規分布からのサンプルの仮定に基づいて構築されているため、分散の推定では共分散の推定の不確実性が考慮されます。およびその逆。

MLwinは、MCLS推定チェーンであり、IGLS推定と非負定分散共分散行列は、サンプリングを開始する前に最初に共分散をゼロに変更することによって変更する必要がある場合があります。

機能する例については、

MLwiN 3、Volume 1（2017年9月更新）を使用して、文脈、異質性、変化を分析するためのマルチレベルモデルを開発する。ボリューム2もRGateにあります

https://www.researchgate.net/publication/320197425_Vol1Training_manualRevisedSept2017

第10章の付録