イベント時間に関する不確実性を伴う時系列のイベントに対する評価者間の信頼性

時系列でイベントを識別しようとする複数の独立したコーダーがいます-この場合、対面の会話のビデオを見て、特定の非言語的行動（たとえば、頭のうなずき）を探し、それぞれの時間とカテゴリをコーディングしますイベント。このデータは、高いサンプリングレート（30フレーム/秒）の離散時系列または連続時系列のどちらかが扱いやすい方として合理的に扱うことができます。

評価者間信頼性の尺度を計算したいのですが、イベントがいつ発生したかについて不確実性があると予想しています。つまり、たとえば、あるコーダーが、他のコーダーが考えていたよりも4分の1秒遅れて特定の動きが始まったことをコーディングすることを期待しています。これらが役立つ場合、これらはまれなイベントです。通常、イベント間で少なくとも数秒（数百のビデオフレーム）。

これらの種類の同意と不一致の両方に注目する評価者間信頼性を評価する良い方法はありますか？（1）評価者は、発生したイベント（ある場合）に同意しますか？（2）発生時に同意しますか？後者は私にとって重要です。なぜなら、私はこれらのイベントのタイミングを、人々が何を言っているかなど、会話で起こっている他の事柄と比較して見ることに興味があるからです。

私の分野での標準的な実践は、物事をタイムスライス、たとえば1/4秒程度に分割し、各コーダーがタイムスライスごとに報告するイベントを集計してから、コーエンのカッパまたは同様の尺度を計算することです。しかし、スライスの継続時間の選択はアドホックであり、イベントの時間の不確実性についてはよくわかりません。

私がこれまでに持っていた最も良い考えは、ある種の信頼性曲線を計算できるということです。2つのイベントが同時にコーディングされていると見なすウィンドウのサイズの関数としてのカッパのようなもの。でも、そこからどこに行くのかよく分からないけど...

以下に、いくつかの考え方を示します。

1

A）コーディングの各シーケンス全体を順序付けられた一連のイベントとして扱うことができます（つまり、["head nod"、 "head shake"、 "head nod"、 "eyebrow raised"]および["head nod"、 "head shake" 、 "eyebrow raised"]））、あなたにとって意味のあるアルゴリズム（http://en.wikipedia.org/wiki/Sequence_alignment）を使用してシーケンスを整列します。次に、シーケンス全体のインターコーダーの信頼性を計算できます。

B）その後、再び整列されたシーケンスを使用して、イベントが発生したと彼らが言った時間を比較することができます。

2）あるいは、これを隠れマルコフモデルとしてモデル化し、Baumn-Welchアルゴリズムのようなものを使用して、実際のイベントが発生した場合に、各コーダーが実際にデータを正しくコード化する確率を導きます。http://en.wikipedia.org/wiki/Baum-Welch_algorithm

データを任意の断片にスライスするのではなく、実際の時間差を考慮することができます。Coder 1は時間とアクションを報告します：

049 D
113 C
513 C
724 G

他のコーダーによると、どのコーダーが最も信頼できるかを確認する簡単な方法は、次のようなスコアを与えることです。

Add a point for each other coder that reported a D between (049-025) and (049+025)
Add a point for each other coder that reported a C between (113-025) and (113+025)
Add a point for each other coder that reported a C between (513-025) and (513+025)
Add a point for each other coder that reported a C between (724-025) and (724+025)
Subtract a point for each reported action.

身近さが重要な場合は、次のような代替案を検討してください。

Add 25/(Time_Thiscoder-Time_Othercoder)^2 points for each other coder that reported a matching observation.

すべての問題情報が利用可能であるため、このアイデアを実用的な方法で実装するのは難しくありません。