混合効果モデリングによる測定の再現性（別名信頼性、別名クラス内相関）の計算方法を説明するこの論文に出会ったばかりです。Rコードは次のようになります。

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

このアプローチは、次のように、効果の信頼性（つまり、2レベルの変数のコントラスト効果の合計）の計算にも使用できると考えています。

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

3つの質問：

効果の再現性のポイント推定値を取得するための上記の計算は意味がありますか？
再現性を推定したい複数の変数がある場合、それらをすべて同じ近似（たとえばlmer(dv~(iv1+iv2|unit)+iv1+iv2）に追加すると、各効果に対して個別のモデルを作成するよりも高い再現性推定が得られるようです。複数の効果を含めると残差分散が減少する傾向があるため、これは計算上理にかなっていますが、結果の再現性推定が有効であるとは言えません。彼らは？
上記の論文は、尤度プロファイリングが再現性推定の信頼区間を取得するのに役立つ可能性があることを示唆していますが、私が知るconfint(profile(fit))限り、切片と効果の分散の区間のみを提供しますが、計算するために残差分散の区間がさらに必要になります再現性の間隔、いや？

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— マイク・ローレンス
ソース

少なくとも、調整されていない再現性の推定、つまり、古典的なクラス内相関（ICC）に関する質問には答えられると思います。「調整された」再現性の推定値については、リンクした論文をざっと読みましたが、適用する式がその論文のどこにあるのか本当にわかりませんでしたか？数学的表現に基づいて、それは（個々のスコアではなく）平均スコアの再現性のようです。しかし、これがとにかくあなたの質問の重要な部分であることは明らかではないので、私はそれを無視します。

（1.）効果の再現性のポイント推定値を取得するための上記の計算は意味がありますか？

はい、あなたが提案する表現は理にかなっていますが、提案された式に若干の修正が必要です。以下に、提案された再現性係数を導き出す方法を示します。これにより、係数の概念的な意味が明確になり、わずかに変更することが望ましい理由が示されることを願っています。

最初に、最初のケースの再現性係数を取得し、それが何を意味し、どこから来たのかを明確にしましょう。これを理解することは、より複雑な2番目のケースを理解するのに役立ちます。

ランダム切片のみ

この場合、番目のグループの番目の応答の混合モデルは、ここで、ランダムな切片は分散と残差は分散ます。 $i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

現在、2つのランダム変数と間の相関は、として定義されてい $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

ICC /再現性係数の式は、2つのランダム変数と同じグループから引き出された2つの観測値、及び上記の定義と分散/共分散のプロパティ（あなたや他の人が私に望んでいない限り、ここでは表示しないプロセス）を使用してこれを単純化すると、 $x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ これが意味するのは、この場合のICCまたは「未調整の再現性係数」は、同じクラスターからのペアの観測値の間の予想される相関として単純な解釈を持っていることです（この場合は単なる平均である固定効果のネット）。ICCがこの場合の分散の割合としても解釈可能であるという事実は偶然です。より複雑なICCについては、一般的にその解釈は当てはまりません。何らかの相関関係としての解釈が主要なものです。

ランダムな切片とランダムな勾配

2番目のケースでは、まず、「効果の信頼性（つまり、2レベルの変数のコントラスト効果の合計）」が何を意味するのかを明確にする必要があります。

まず、モデルをレイアウトします。混合モデルで番目の応答下グループ番目コントラスト符号化された予測のレベル番目あるランダム切片の分散、ランダム勾配の分散、ランダム切片および勾配の共分散、および残差は分散ます。 $i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

それでは、このモデルでの「効果の再現性」とは何ですか？良い候補の定義は、同じクラスター内で、異なる観測値ペア間で計算された2組の差スコア間の予想される相関であると思います。 $j$ $i$

そのため、問題の差分スコアのペアは次のようになります（はようにコントラスト符号化されていると仮定します）：および $x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

これらを相関式に代入すると、これはまで簡略化され ICCは技術的には関数であることに注意してください！ただし、この場合、は2つの可能な値のみを取ることができ、ICCはこれらの値の両方で同一です。

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

ご覧のとおり、これは質問で提案した再現性係数に非常に似ています。唯一の違いは、式がICCまたは「未調整の再現性係数」として解釈される場合、ランダムな傾斜分散を適切にスケーリングする必要があることです。記述した式は、予測子がにコーディングされている特殊なケースで機能しますが、一般的には機能しません。 $x$ $\pm\frac{1}{\sqrt{2}}$

（2.）再現性を推定したい変数が複数ある場合、それらをすべて同じ近似（例えばlmer(dv~(iv1+iv2|unit)+iv1+iv2）に追加すると、各効果に対して個別のモデルを作成するよりも高い再現性推定が得られるようです。複数の効果を含めると残差分散が減少する傾向があるため、これは計算上理にかなっていますが、結果の再現性推定が有効であるとは言えません。彼らは？

独自のランダムな勾配を持つ複数の予測子を持つモデルについて上記で示したのと同様の導出を行うと、概念的に興味のある差スコアが今や複雑になることを除いて、上記の再現性係数がまだ有効であることを示すと思います定義がわずかに異なります。つまり、モデル内の他の予測変数を制御した後の調整済み平均間の差の予想される相関に関心があります。

他の予測子が対象の予測子に直交する場合（たとえば、バランスのとれた実験など）、上記で説明したICC /再現性係数は修正なしで機能するはずです。それらが直交していない場合は、これを考慮するために式を変更する必要がありますが、これは複雑になる可能性がありますが、私の答えがそれがどのように見えるかについてのヒントを与えてくれることを願っています。

— ジェイク・ウェストフォール
ソース

あなたはまさにジェイクです。調整されたICCは、セクションVIIを参照します。リンクされた論文の外挿された再現性と再現性。著者は、個々の測定値の再現性と測定手段再現性を区別することが重要 $R$ $R_n$ です。

— ガブラ

lmerモデルからの効果の再現性の計算

ランダム切片のみ

ランダムな切片とランダムな勾配