多問試験での不正行為のパターンの検出

質問：

試験問題のバイナリデータがあります（正しい/正しくない）。一部の個人は、質問とその正解のサブセットに事前にアクセスした可能性があります。私は誰、何人、または誰がわからない。不正行為がない場合、アイテム正しい応答の確率をとしてモデル化するとします。ここで、は質問の難易度を表し、は個人の潜在能力です。これは、Rのltmのrasch（）のような関数で推定できる非常に単純な項目応答モデルです。潜在変数の推定（個人にインデックスを付ける）に加えて、個別の推定にアクセスできます $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ 不正行為が不可能な別のデータセットから派生した同じ潜在変数の。

目標は、だまされた可能性が高い個人と、だまされたアイテムを識別することです。あなたが取るかもしれないいくつかのアプローチは何ですか？生データに加えて、、、およびがすべて利用可能ですが、最初の2つは不正のためにバイアスがあります。理想的には、ソリューションは確率的クラスタリング/分類の形で提供されますが、これは必須ではありません。正式なアプローチと同様に、実用的なアイデアは大歓迎です。 $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

これまで、スコアの高い個人と低い個人のペアの質問スコアの相関を比較しました（は彼らがだました確率の大まかな指標）。たとえば、個人をでソートし、個人の質問スコアの連続するペアの相関をプロットしました。また、値がの分位よりも大きい個体のスコアの平均相関をプロットしてみました、関数として。どちらのアプローチにも明らかなパターンはありません。 $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

更新：

@SheldonCooperのアイデアと、@ whuberが私に向けてくれた便利なFreakonomicsの論文を組み合わせました。他のアイデア/コメント/批評を歓迎します。

してみましょう人も問題についてのバイナリスコア。推定項目応答モデルアイテムの容易性パラメータであり、潜在能力の変数である（A、より複雑なモデルが置換されていてもよい; I私のアプリケーションで2PLを使用しています。元の投稿で述べたように、別のデータセット（異なるアイテム、同じ人）からの能力変数の推定値があります。具体的には、は、上記と同じアイテム応答モデルからの経験的ベイズ推定値です。 $X_{ij}$ $j$ $i$

l o g i t (P r (X_{i j} = 1 | z_{j}) = β_{i} + z_{j},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

観測されたスコアの確率は、アイテムの容易さと個人の能力に応じて、ここでは、正しい応答であり、は逆ロジットです。次に、アイテムと人物の特性を条件として、人物が観測値持つ結合確率はあり、同様に、アイテムが観測値を持つ結合確率は $x_{ij}$

p_{i j} = P r (X_{i j} = x_{i j} | \hat{β_{i}}, \hat{q_{j}}) = P_{i j} (\hat{β_{i}}, \hat{q_{j}})^{x_{i j}} (1 - P_{i j} (\hat{β_{i}}, \hat{q_{j}}))^{1 - x_{i j}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

p_{j} = \prod_{i} p_{i j},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ は値が最も低い人は、観測されたスコアが条件付きで発生する可能性が最も低い人です。値が最も低いアイテムは、条件付きで発生する可能性が最も低いアイテムです。リーク/共有される可能性のあるアイテムです。このアプローチは、モデルが正確であり、人物のスコアは人物とアイテムの特性に相関しないという前提に依存しています。ただし、相関度が個人間で変わらない限り、2番目の仮定に違反しても問題はありませんモデルは簡単に改善できます（たとえば、個人またはアイテムの特性を追加することで）。

p_{i} = \prod_{j} p_{i j} .

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

私が試した追加のステップは、最も可能性の低い人のr％（つまり、ソートされたp_j値のr％が最も低い人）を取り、観測スコアx_j間の平均距離を計算することです可能な詐欺師です）、r = 0.001、0.002、...、1.000に対してプロットします。平均距離は、r = 0.001からr = 0.025まで増加し、最大値に達し、r = 1で最小値までゆっくりと減少します。

r clustering classification psychometrics

— ロックオフ
ソース

不正行為の性質に関する情報がほとんどないため、これは難しい問題です。不正行為者と一生懸命勉強した学生とをどのように区別しますか？詳細情報がなければ、できません。可能性の1つは、生徒がお互いをコピーしてチートできる場合、または生徒のサブセットが同じ回答にアクセスできる場合です。この場合、生徒間の距離関数を作成し（距離が小さいほど同じ質問でうまくいった）、ここでパターンを探すことができます。これは、より決定的なIMOになります。

— rm999

LevittとDubnerは、Freakonomics（freakonomicsmedia.com）でのアプローチについて説明しています。

— whuber

@ rm999明確にするために、不正行為者は同じ質問のサブセットにアクセスできました（たとえば、試験管理の前に部分的な回答キーが漏洩しました）。コピーから生じた不正行為には興味がありません。不明な場合は週末に質問を修正します。

— ロックオフ

@whuberありがとう、私は（それが公開されていると仮定して）論文を調べます。私はオーディオブックを聴きましたが、彼らがいかさまをどのように特定したかの詳細を思い出せません（誰が生徒の答えをだましている教師だったと思います）。

— ロックオフ

Freakonomicsの場合を思い出すと、同じ学校/クラスで、1年前に比べて達成度が大幅に上昇した子供、（b）以前の簡単な質問に対する異なる回答、（c）後で難しい質問に答えるので、子供たちが空白のままにした答えを教師が記入することを示唆している。

— ヘンリー

回答:

アドホックアプローチ

$\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ は単なる一定のオフセットです）、適切な場所でしきい値を設定します（たとえば、p（correct）<0.6）。これにより、学生が正しく答える可能性が低い一連の質問が得られます。仮説検定を使用して、これが違反されているかどうかを確認できるようになりました。この場合、学生はおそらくごまかしました（もちろん、モデルが正しいと仮定します）。1つの注意点は、そのような質問がほとんどない場合、テストの信頼性を確保するのに十分なデータがない可能性があることです。また、彼は常に50％の確率で推測するため、どの質問にだまされたのかを判断することは不可能だと思います。しかし、多くの生徒が同じ質問にアクセスした（そしてだまされた）と仮定すると、生徒間でこれらを比較し、どの質問が偶然よりも頻繁に回答されたかを確認できます。

$q_j$ $\beta_i$

原則的アプローチ

$c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ $l_i$

— シェルドン・クーパー
ソース

あなたの答えの最初の部分を読んで、それは有望だと思います。2つの簡単なメモ-これは複数の選択肢であったため、正しく推測される確率は25％または20％です。質問のサブセットが試験前に漏えいしたと思われるかもしれないという点であなたは正しいです。日曜日または月曜日にこれに戻ります。

— ロックオフ

もっと複雑なアプローチをしたい場合は、アイテム応答理論モデルを見てください。その後、各質問の難易度をモデル化できます。難しいアイテムを修正し、簡単なアイテムを紛失した生徒は、逆にした生徒よりも不正行為をする可能性が高いと思います。

このようなことをしてから10年以上が経ちましたが、有望だと思います。詳細については、心理測定の本をご覧ください

— ピーター・フロム-モニカの復職
ソース

通常、不正行為や推測は、IRMに直接組み込まれます。難易度、差別、および推測のパラメーターが含まれており、アイテムを承認する確率のより低い漸近線として機能するため、これは本質的に3-PLモデルが意図することです。ただし、ほとんどの状況で非現実的であることが証明されており、他の専用の個人適合統計が（教育テストまたは心理評価のいずれかで）一緒に開発されています。Meijer、Person-Fit Research：はじめに。APM（1996）、9：3-8には、異常な応答パターンに関する素晴らしいレビューがあります。

— -chl

@chlありがとう！私は大学院でこのようなことを勉強しましたが、それはずっと前のことです-私の最後の授業は1996年くらいでした。

— ピーターフロム-モニカの復職

@chlご提案ありがとうございます。私の質問のモデルは、実際にはアイテムレスポンスモデル（判別パラメーターが固定されたRaschまたは1PLモデル）です。異常なパフォーマンスを持つ個人を見るという提案は良い出発点だと思いますが、不正行為が行われたアイテムに対する不正行為者の反応の相関関係によって提供される追加情報を活用するアプローチを探しています。たとえば、手順を使用して不正行為者を特定した場合、同様の困難なアイテムでうまく機能すると想像できます。

— ロックオフ