複数の評価者、参加者ごとに異なる評価者、および経時変化の可能性がある評価者間信頼性を実行する方法は？

参加者は2回評価され、2つの評価は3年で区切られていました。ほとんどの参加者について、評価は異なる評価者によって行われましたが、一部（10％未満）では、同じ評価者が両方の評価を行いました。合計8人の評価者がおり、2つの評価者が両方の時点で評価を行っていました。

さて、評価は仮想の「正しい」値を持つ能力の側面のものだったので、評価者間の絶対的な合意は一貫性よりも重要です。ただし、評価は3年間隔で行われたため、能力に実際の変更があった可能性があります（おそらく変更されていました）。

• この場合、信頼性の最良のテストは何でしょうか？
• 私はクラス内相関に傾いていますが、ICC1はこれらのデータで実行できる最善の方法ですか？

一部の評価が同じ評価者によって行われたという事実をどのように説明しますか？頭の中で、それが一貫して行われていない場合、それを考慮に入れる対策は考えられません。結局のところ、同じ評価者を2回比較する場合、一貫性を調べていることになります。2人の評価者を比較する場合、あなたは合意を見ています。したがって、「信頼性」を評価したい場合、何を評価しようとしているのかは完全には明確ではありません。

被験者の能力レベルが変化したと思われる場合は、その事実をどのように説明できるかを検討することも重要です。評価者を比較するためのいくつかのゴールドスタンダード測定がありますか？

したがって、要約すると、評価者の信頼性を評価する前に、2つの重要な質問に答える必要があります。

• レーティングの一貫性が悪いのではなく、能力の正当な変化に起因するタイムポイント間の変化をどのように定量化して修正できますか？
• あなたは主に、評価者がお互いに同意する頻度、または評価者がどれだけ一貫して評価を適用することに興味がありますか？