異なるグループの再現性(ICC)を比較する方法は?


8

2つのグループのICC値を計算しました。次に、ICC値を比較して、グループの再現性が異なるかどうかを判断します。文献では、人々は単に再現性を比較するためにt検定を使用しましたが、これを行う方法は私には不明確です。

たとえば、ダミーデータの場合:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

次のようにして、グループ1および2の再現性測定を取得できます。

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

しかし、group1の再現性がgroup2と異なるかどうかをどのように判断できますか?


グループごとに2つのクラスターしかないことに気づきました。これは間違いなく理想的ではなく、少なくとも、提供したこのサンプルデータセットでは、両方のICC推定値の信頼区間が非常に広い(以下の@JamesStanleyの回答からわかる)理由です。あなたには、実際のデータセット、あなただけの2グループごとのクラスタ、またはこれよりも(たぶん)以上のクラスタを持っていますか?それ以上の場合、グループごとにいくつですか?
Jake Westfall、2014年

2つのクラスターとはどういう意味ですか?2つのグループを2回テストしましたが、なぜそれが理想的でないのかわかりませんか?順列テストを実行して、両方のグループのICCを比較しました(r = 0.77、95%CI:0.54、0.91、およびグループ2の場合r = 0.24、95%CI:0.07、0.57)。これにより、グループ1の方がそのグループの再現性が大幅に高いことがわかります2.
crazjo 2014年

1
たぶんバックアップする必要があります。ICCはクラスター化(つまり、マルチレベル)データに適用できます。これは、クラスタリングを無視してデータセットからランダムに抽出された2つの観測と比較して、同じクラスターから抽出された2つの観測が平均してどの程度類似しているかを測定する方法です。実際には、クラスター間の分散と全体の分散の比率として計算されます。したがって、各グループに2つのクラスターしかない場合、クラスター間の分散の推定は2つのデータポイントのみに基づいています。たとえば、2つのデータポイントのみで構成されるデータセットの平均または標準偏差を推定しようとしていると想像してください。
Jake Westfall、2014年

順列テストについては、これがどのように行われたかを正確に知りたいと思います。私は、ブートストラップまたは順列テストに基づくソリューションを投稿することを考えていました。この種のことは、マルチレベルデータでかなり慎重に行う必要があることに注意してください。
Jake Westfall、2014年

回答:


1

研究の質問とデモデータ(およびICCの合理的な推定値を取得するためのサンプルサイズ)に関する重要な問題は別として、ICCest関数から取得する出力には信頼区間が付加されています。グループを比較するための開始点として、各信頼区間とICCの他のグループのポイント推定値の間には重複があります。

とにかく、ICCのポイント推定値と各グループの信頼区間を報告することは、ポイント推定値とある種の結果だけを報告するよりも有用です(したがって、どのような場合でもこれらを報告することをお勧めします)。仮説検定。

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986

Jamesに感謝します。実際のデータから得た出力は、グループ1 r = 0.77, 95% CI: 0.54, 0.91とグループ2で示されましたr = 0.77, 95% CI: 0.07, 0.57。グループ1の整合性は比較的非常に高く、グループ2の平均整合性は中程度ですが、2つのグループの信頼区間はほとんど重なりません。原稿を書くことができますか?グループ2はグループ1よりも一貫性がかなり劣っていました(上記の統計)。これは、テストを実行して比較するよりも優れているとおっしゃっていますが、2つのグループのICC値を比較する方法を知っておくとよいでしょう。
crazjo 2013

異なる信頼性を示すものとしてコメントに印刷されたこれら2つのICCを評価するのは快適です(グループ2 rにタイプミスがあり、実際には〜= 0.32であると想定しています)-オーバーラップは信頼区間の終わりの間であり、与えられた信頼区間と反対点の推定値ではなく、これらが平均値の差である場合、p <0.05での「有意な」t検定結果におそらく対応します。
James Stanley、
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.