コーエンのカッパは2つの判断にのみ使用できますか？

私はコーエンの河童を使用して、2人の裁判官間の同意を計算しています。

次のように計算されます。

$\frac{P(A) - P(E)}{1 - P(E)}$

ここで、は一致の割合、は偶然の一致の確率です。P （E $P(A)$$P(E)$

次のデータセットの場合、期待される結果が得られます。

User A judgements: 
  - 1, true
  - 2, false
User B judgements: 
  - 1, false
  - 2, false
Proportion agreed: 0.5
Agreement by chance: 0.625
Kappa for User A and B: -0.3333333333333333

両方の裁判官があまりよく合意していないことがわかります。ただし、次の両方の裁判官が1つの基準を評価する場合、カッパはゼロと評価されます。

User A judgements: 
  - 1, false
User B judgements: 
  - 1, false
Proportion agreed: 1.0
Agreement by chance: 1.0
Kappa for User A and B: 0

これで、偶然の一致が明らかに1であることがわかります。これにより、カッパはゼロになりますが、これは信頼できる結果としてカウントされますか？問題は、私は通常、基準ごとに3つ以上の判断を下さないことです。そのため、これらはすべて0より大きいカッパには評価されません。これは、あまり代表的ではないと思います。

私の計算は正しいですか？別の方法を使用して相互合意を計算できますか？

ここでは、kappaが複数の判断に対してうまく機能していることがわかります。

User A judgements: 
  - 1, false
  - 2, true
  - 3, false
  - 4, false
  - 5, true
User A judgements: 
  - 1, true
  - 2, true
  - 3, false
  - 4, true
  - 5, false
Proportion agreed: 0.4
Agreement by chance: 0.5
Kappa for User A and B: -0.19999999999999996

コーエンのの「チャンス補正」は、各評価者が既存のカテゴリを選択する確率を推定します。推定は、カテゴリーの周縁頻度から行われます。各評価者の判断が1つしかない場合、これはが一般的にこの単一の判断で選択されたカテゴリの確率が1であると想定していることを意味します。すべてのカテゴリの基本レート。$\kappa$$\kappa$

代替案は、単純な二項モデルの場合があります。追加の情報がない場合、判断は2値であるため、1つの判断で2つの評価者が一致する確率は0.5であると想定できます。これは、両方の評価者がすべての基準に対して0.5の確率で各カテゴリを選択すると暗黙的に想定していることを意味します。すべての基準で偶然に予想される合意の数は、二項分布に従います。$p=0.5$

カラカルの答えは説得力があると思いますが、コーエンのカッパは、人の信頼性を構成するものの一部しか説明できないと思います。合意における評価の単純な％は別の部分を占め、評価間の相関関係は3番目です。全体像をつかむには、3つの方法すべてが必要です。詳細については、http：//pareonline.net/getvn.asp？v = 9＆n = 4を参照してください。

「[...]インターテラの信頼性を単一の統一された概念として説明する一般的な慣行は、せいぜい不正確であり、最悪の場合は誤解を招く可能性があります。」