2つのグループのICC値を計算しました。次に、ICC値を比較して、グループの再現性が異なるかどうかを判断します。文献では、人々は単に再現性を比較するためにt検定を使用しましたが、これを行う方法は私には不明確です。
たとえば、ダミーデータの場合:
ID gr day behaviour
1 1 1 0.361
2 1 1 0.232
3 1 1 0.240
4 1 1 0.693
5 1 1 0.483
6 1 1 0.267
7 2 1 0.180
8 2 1 0.515
9 2 1 0.485
10 2 1 0.567
11 2 1 0.000
12 2 1 0.324
1 1 2 0.055
2 1 2 0.407
3 1 2 0.422
4 1 2 0.174
5 1 2 0.613
6 1 2 0.311
7 2 2 0.631
8 2 2 0.283
9 2 2 0.512
10 2 2 0.127
11 2 2 0.000
12 2 2 0.000
次のようにして、グループ1および2の再現性測定を取得できます。
library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
しかし、group1の再現性がgroup2と異なるかどうかをどのように判断できますか?
グループごとに2つのクラスターしかないことに気づきました。これは間違いなく理想的ではなく、少なくとも、提供したこのサンプルデータセットでは、両方のICC推定値の信頼区間が非常に広い(以下の@JamesStanleyの回答からわかる)理由です。あなたには、実際のデータセット、あなただけの2グループごとのクラスタ、またはこれよりも(たぶん)以上のクラスタを持っていますか?それ以上の場合、グループごとにいくつですか?
—
Jake Westfall、2014年
2つのクラスターとはどういう意味ですか?2つのグループを2回テストしましたが、なぜそれが理想的でないのかわかりませんか?順列テストを実行して、両方のグループのICCを比較しました(r = 0.77、95%CI:0.54、0.91、およびグループ2の場合r = 0.24、95%CI:0.07、0.57)。これにより、グループ1の方がそのグループの再現性が大幅に高いことがわかります2.
—
crazjo 2014年
たぶんバックアップする必要があります。ICCはクラスター化(つまり、マルチレベル)データに適用できます。これは、クラスタリングを無視してデータセットからランダムに抽出された2つの観測と比較して、同じクラスターから抽出された2つの観測が平均してどの程度類似しているかを測定する方法です。実際には、クラスター間の分散と全体の分散の比率として計算されます。したがって、各グループに2つのクラスターしかない場合、クラスター間の分散の推定は2つのデータポイントのみに基づいています。たとえば、2つのデータポイントのみで構成されるデータセットの平均または標準偏差を推定しようとしていると想像してください。
—
Jake Westfall、2014年
順列テストについては、これがどのように行われたかを正確に知りたいと思います。私は、ブートストラップまたは順列テストに基づくソリューションを投稿することを考えていました。この種のことは、マルチレベルデータでかなり慎重に行う必要があることに注意してください。
—
Jake Westfall、2014年