多肢選択試験での盗作の検出

選択的試験中に、ある生徒が別の生徒の論文から回答をコピーした疑いがあることを調査官が想定したとします。彼女は後で回答を確認し、いくつかの類似点を見つけます。一方、試験の性質上、類似点は必ずあります。彼女は自分の疑いが見つかったかどうかをどのように判断すべきですか？

言い換えれば、彼女は試験を他の学生（私たちが想定しているとすれば、浮気ではなかった）の試験と比較する必要があります。しかし、クラスのサイズが非常に大きい場合、比較のためにランダムサンプリングを取るのが妥当でしょうか。それから彼女はいくつ取るでしょう？試験に多くの質問があった場合、比較のために質問のサンプルをとることも理にかなっていますか？それぞれの質問に2つの回答（true / false）があったか、たとえば4であったかは、重要な違いになりますか？

これが一般的にどのように機能するのか疑問に思っているので、具体的な数値はありません。私は数学のバックグラウンドがありますが、統計のトレーニングはほとんどありません。この分析を統計的にどのように説明しますか？

ありがとうございました。

correlation terminology

— テオフィル
ソース

私はあなたが感じていていもない詐欺師もcheateeが過半数正しい答えを持っていたことを、ここでの仮定を作ることを。たとえば、両方が正解した場合、何も証明できません。しかし、彼らの両方が周りで同じ間違った答えを得たと言って、不正行為の可能性は非常に高いでしょう。この測定を行うには間違っていた答えに集中する必要があると思います。

— Spacey

私はあなたが選択的になり、コピーされる可能性が最も高い質問を選びたいと思うかもしれません。それらはおそらく最も難しいと思われるものでしょう。しかし、不正行為をしている人が彼または彼女が勉強しなかったトピックをカバーする質問を選んでいる可能性もあり、それらを識別するのは難しいでしょう。しかし、簡単な質問で同じ答えがあったとしても、どちらの当事者も正しい答えを知っているので、実際には何もわかりません。

— Michael R.Chernick

当然のことながら、Freakonomicsの作者であるSteven Levittをはじめ、過去に多くの人々が不正行為の検出を検討してきました。誰かが答えだけからだまされたかどうかを判断できるようにしたい場合は、多肢選択試験を行わず、自分で試験を監督します。学生の仕事が無関係であるという仮説を拒否することはできますが、彼らが単に一緒に勉強しなかったことを証明する恐ろしい時間があります。座席表はありますか？学生のIDを確認しましたか？学生を再テストできますか？

— ダグラスザレ2012

すべての質問を簡単に分析できるので、質問のサンプリングはひどい考えのように見えます。正解から1だけオフセットされた一連の回答など、コピーの優れた指標を見逃してしまいます。たとえば、正解は30）A 31）B 32）C 33）D 34）Eで、1人の生徒は30）A 31）B 32）C 33）D 34）Bで、もう1人の生徒は30）B 31）Cです。 32）D 33）B.これらの回答が非常に人気のない不正解である場合、2番目の生徒が最初にコピーしていたモデルに適合し、脱落エラーが発生しました。これらの答えをコピーせずに説明することは、可能ですが困難です。

— ダグラスZare

現在のソフトウェアでは、同じ質問で一連の試験を作成するのが比較的簡単で効率的ですが、質問の順序と回答の順序の両方が入れ替えられます。通常、必要なのは最大4つのバージョンだけです。

— Rシューマッハ

インデックスをコピーする驚くほど膨大な数の回答がありますが、そのメリットについてはほとんど説明されていません：http : //www.bjournal.co.uk/paper/BJASS_01_01_06.pdf。

このような質問に統計的背景を提供する、項目応答理論（IRT）と呼ばれる（教育的）心理学の分野があります。あなたがアメリカ人で、SAT、ACT、またはGREを受験した場合、IRTを念頭に置いて開発されたテストに対処しました。IRTの基本的な仮定は、各学生は能力によって特徴付けられるということです。各質問は、その難易度によって特徴付けられます。そして、質問に正しく答える確率はここで、は標準法線の累積分布関数、 $i$ $a_i$ $b_j$

π (a_{i}, b_{j}; c) = P r o b [student i answers question j correctly] = Φ (c (a_{i} - b_{j}))

$\pi(a_i,b_j;c) = {\rm Prob}[\mbox{student $i$ answers question $j$ correctly}] = \Phi( c(a_i-b_j) )$

Φ (z)

$\Phi(z)$

c

$c$ 追加の感度/識別パラメータです（違いを特定するのに十分な情報、つまり十分なテスト受験者がいる場合は、質問固有のになることがあります）。ここに隠された仮定は、生徒の能力が与えられれば、さまざまな質問への答えは独立しているということです。テキストの同じ段落について言うことについて一連の質問がある場合、この仮定に違反しますが、少しの間それから抽象化しましょう。

c_{j}

$c_j$

i

$i$

「はい/いいえ」の質問の場合、これで話は終わりです。3つ以上のカテゴリの質問については、すべての間違った選択が等しく可能性があるという追加の仮定を行うことができます。質問のために持つ選択肢、各間違った選択の確率がある。 $j$ $k_j$ $\pi'(a_i,b_j;c) = [1-\pi(a_i,b_j;c)]/(k_j-1)$

能力および生徒の場合、難易度質問の回答で一致する確率は必要にこれを正解、および不正解で一致する確率、ただしIRTの概念フレームワークからは、この区別はほとんど重要ではありません。 $a_i$ $a_k$ $b_j$

ψ (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c) + (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c) + (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

ψ_{c} (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c)

$\psi_c(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c)$

ψ_{i} (a_{i}, a_{k}; b_{j}, c) = (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi_i(a_i,a_k;b_j,c) = (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

これで、マッチングの確率を計算できますが、おそらく組み合わせ上非常に小さなものになります。より良い尺度は、応答のペアワイズパターンの情報の比率、とエントロピー関連付けるこれを生徒のすべてのペアに対して実行し、それらをプロットまたはランク付けして、エントロピーに対する情報の最大の比率を調査できます。

I (i, k) = \sum_{j} 1 {{match}_{j}} \ln ψ (a_{i}, a_{k}; b_{j}, c) + 1 {{non-match}_{j}} \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$I(i,k) = \sum_j 1\{ \mbox{match}_j \} \ln \psi(a_i,a_k;b_j,c) + 1\{ \mbox{non-match}_j \} \ln [1- \psi(a_i,a_k;b_j,c) ]$

E (i, k) = E [I (i, k)] = \sum_{j} ψ (a_{i}, a_{k}; b_{j}, c) \ln ψ (a_{i}, a_{k}; b_{j}, c) + (1 - ψ (a_{i}, a_{k}; b_{j}, c)) \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$E(i,k) = {\rm E}[ I(i,k) ] = \sum_j \psi(a_i,a_k;b_j,c) \ln \psi(a_i,a_k;b_j,c) + (1- \psi(a_i,a_k;b_j,c) ) \ln [1- \psi(a_i,a_k;b_j,c) ]$

テストのパラメーターと学生の能力は青空から落ちることはありませんが、Rなどの最新のソフトウェアでは簡単に推定できます。または同様のパッケージ： $\{c,b_j, j=1, 2, \ldots\}$ $\{a_i\}$ lme4

    irt <- glmer( answer ~ 1 + (1|student) + (1|question), family = binomial)

またはこれに非常に近いもの。

— StasK
ソース