可変数の評価を使用してRの評価者間の信頼性を計算していますか？

ウィキペディアでは、評価者間の信頼性を確認する1つの方法は、変量効果モデルを使用してクラス内相関を計算することです。クラス内相関の例では、

モデルから

「Yここで_ijは jは^番目 Iで観察^番目のグループ、μはα、未観測全体平均で_iは iがグループ内のすべての値で共有未観測ランダム効果であり、ε _ijは未観測ノイズ項です」。

特に私のデータでは、評価者がすべてのものを評価しておらず（ほとんどが20+を評価しています）、さまざまな回数（通常は3〜4）の評価が行われているため、これは特に魅力的なモデルです。

質問0：その例の「グループi」（「グループi」）は、評価されているもののグループですか？

質問＃1：評価者間の信頼性を求めている場合、評価者と評価対象の2つの項を持つ変量効果モデルは必要ありませんか？結局のところ、両方とも可能なバリエーションがあります。

質問＃2：このモデルをRで最もよく表現するにはどうすればよいですか？

ているかのように見えます。この問題は、見栄えの良い提案があります。

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

私は見てカップルの 質問、およびLMEのための「ランダム」パラメータの構文は、私には不透明です。lmeのヘルプページを読みましたが、「ランダム」の説明は例がなければ理解できません。

この質問は質問の長い リストにいくぶん似ていますが、これが最も近い質問です。ただし、ほとんどの場合、Rについては詳しく説明されていません。

質問で参照したモデルは、「一方向モデル」と呼ばれます。ランダムな行の効果が唯一の体系的な分散の原因であると想定しています。評価者間の信頼性の場合、行は測定対象（例、被験者）に対応します。

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

ただし、「双方向モデル」もあります。これらは、ランダムな行効果だけでなく、ランダムまたは固定列効果に関連する分散があることを前提としています。評価者間の信頼性の場合、列は測定ソース（評価者など）に対応します。

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

$x_{ij}$$\bar{x}_i$

ランダムな列効果を想定した場合の定義は次のとおりです。

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

ANOVAの平均二乗を使用してこれらの値を推定することもできます。

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

これらの係数は、irrパッケージを使用してRで計算できます。

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

参考文献

McGraw、KO、およびWong、SP（1996）。いくつかのクラス内相関係数に関する推論の形成。心理学的方法、1（1）、30–46。

Shrout、PE、＆Fleiss、JL（1979）。クラス内相関：評価者の信頼性の評価に使用します。Psychological Bulletin、86（2）、420–428。