約600人の学生が広範な信頼性/評価のスコアを獲得しており、これは信頼性/妥当性が良好であると想定できます。評価は100点満点で、コンピューターでマークされた多肢選択式のテストです。

これらの600人の学生は、2番目のマイナーな評価のスコアも持っています。評価のこの2番目の部分では、11人の異なる採点者を含む11のコホートに分けられ、採点の「寛大さ」またはその欠如に関して、採点者間で望ましくないほど大きなばらつきがあります。この2番目の評価も100点満点です。

学生はランダムにコホートに割り当てられたわけではなく、コホート間のスキルレベルの違いを期待する十分な理由があります。

2番目の課題のコホートマーカーの違いが、個々の学生の実質的な利点/欠点にならないようにするタスクを提示します。

私の考えは、コホート内の個人差を維持しながら、2回目の評価でコホートスコアを取得して最初のコホートスコアと一致させることです。2つのタスクのパフォーマンスは高い相関性があると信じるに十分な理由があると仮定する必要がありますが、マーカーの寛大さはかなり異なります。

これが最善のアプローチですか？そうでない場合、何ですか？

回答者が、RやSPSS、Excelなどで適切なソリューションを実装する方法について実用的なヒントを提供していただければ幸いです。

年生がどのように異なるかを知ることは良いですが、それでも成績を補うために何を教えてくれないし。簡単にするために、2年生だけを想像してください。1年生が2年生よりも5マーク多いと結論付けたとしても、1年生と2年生がそれぞれ70年生だった2人の生徒で何をすべきかはわかりません。は厳しいマーカーでしたが、70〜75を評価し、グレーダー1によってマークされた70を変更しませんでしたか？それとも、1年生が不当に寛大で、生徒を65点にノックダウンし、2年生の70を変更しないと仮定しますか？11年生の平均に基づいて、あなたのケースに拡張するまでの中間に妥協しますか？重要なのは絶対的な成績なので、相対的な寛大さを知るだけでは十分ではありません。

あなたの結論は、最終的な絶対マークがどの程度「客観的」であると感じるかによって異なります。メンタルモデルの1つは、各生徒に「正しい」評点（各論文を個別にマークする時間があった場合にリードアセッサーが授与する評点）を提案することです。このモデルでは、観察されていない「真の」評点にできるだけ近づけるために、観察された評点を評定者に補償する必要があります。別のモデルは、すべての評定が主観的であり、すべての評定者が同じ論文を検討し、それに対して何らかの妥協または平均評点に達した場合に授与されると予測されるマークに向かって、観察された各評点を変換しようとする可能性があります。主観の受け入れがより現実的であっても、2番目のモデルは解決策として納得できません。教育現場では、通常、評価に最終的な責任を負い、学生が「彼らが受けるに値する学位」を獲得することを保証する人がいますが、この主要な役割は、私たちがすでにはっきりと同意していない学年生に対する責任を本質的に免除しました。ここから私はそこにあると仮定しますである我々が推定することを目指していることを一つの「正しい」グレードが、これはコンテスタブルな命題であり、あなたの状況に適合しない場合があります。

同じコホートにいる生徒A、B、C、およびDがそれぞれ75、80、85、および90と評定されるべきであるが、彼らの寛大な評定者が一貫して5評点が高すぎるとマークするとします。80、85、90、および95を観察し、5を減算する必要がありますが、減算する数値を見つけることには問題があります。コホートの平均能力は異なると予想されるため、コホート間の結果を比較することではできません。1つの可能性は、複数選択テストの結果を使用して2番目の課題の正しいスコアを予測し、これを使用して各採点者と正しい評点との間の変動を評価することです。しかし、この予測を行うのは簡単ではありません。2つの評価の平均と標準偏差が異なると予想される場合、2番目の評価グレードが最初の評価グレードと一致すると仮定することはできません。

また、学生は、多肢選択および書面による評価で相対的な適性が異なります。それをある種のランダムな効果として扱い、生徒の「観察」および「真」評点の構成要素を形成することができますが、「予測」評点では捉えられません。コホートが体系的に異なり、コホート内の学生が似ている傾向がある場合、各コホート内でこの効果が平均してゼロになると期待すべきではありません。コホートの観察されたグレードが予測されたグレードに対して平均+5である場合、それは不可能ですこれが寛大なグレーダーによるものか、多肢選択よりも書面による評価に特に適したコホートによるものなのか、2つの組み合わせによるものなのかを判断するため。極端な場合、コホートは2回目の評価で適性が低くさえあるかもしれませんが、非常に寛大なグレーダーによってこれ以上の補償を受けました-またはその逆。これを分解することはできません。それは混乱しています。

また、データに対するこのような単純な加算モデルの妥当性も疑います。グレーダーは、場所のシフトだけでなく、スプレッドによってもリード評価者と異なる場合があります-コホートは均一性が異なる可能性が高いため、これを検出するために各コホートで観察されたグレードのスプレッドをチェックすることはできません。さらに、分布の大部分のスコアは高く、理論上の最大値100にほぼ近いです。これは、最大値に近い圧縮による非線形性の導入を予想しています。非常に寛大なグレーダーは、A、B、C、Dマークを85、90、94、97。これは、単に定数を減算するよりも逆にするのが難しい。さらに悪いことに、あなたは「クリッピング」を見るかもしれません-非常に寛大なグレーダーは、それらを90、95、100、100と評定するかもしれません。これは不可能です逆にすると、CとDの相対的なパフォーマンスに関する情報は回復不能に失われます。

あなたのグレーダーは非常に異なる動作をします。評価のさまざまな要素の寛大さではなく、全体の寛大さだけが違いますか？さまざまな問題を引き起こす可能性があるため、これは確認する価値があるかもしれません-たとえば、Bの5段階の「より良い」にもかかわらず、Bの観測されたグレードはAのグレードよりも悪い場合があります。主任審査員の！評価がQ1（Aは30/50、B 45/50を採点する）とQ2（Aは45/50、B 35/50を採点する）に分割されているとします。採点者はQ1で非常に寛容である（観察されたグレード：A 40/50、B 50/50）が、Q2で厳しい（観察された：A 42 / 50、30 / 50）ことを想像してください。 B.コンポーネントスコアを考慮する必要がある場合、

おそらく、これはあなたの問題の元の範囲内で特定の解決策を提案しないという意味で、回答ではなく拡張コメントです。しかし、グレーダーがすでにそれぞれ約55の論文を扱っている場合、キャリブレーションのために5つまたは10以上を見る必要がありますか？生徒の能力については既に十分に理解しているので、学年の範囲全体から論文のサンプルを選ぶことができます。その後、テスト全体または各コンポーネントでグレーダーの寛大さを補う必要があるかどうかを評価し、定数を追加/減算するか、補間のようなより洗練された方法で補う必要があるかどうかを評価できます（たとえば、 100に近い直線性）。しかし、補間に関する警告の言葉：リード評価者が5つのサンプル用紙に70、75、80、85、および90のマークを付け、一方、グレーダーはそれらを80、88、84、93、96とマークしているため、順序に不一致があります。おそらく、96から100の観測されたグレードを90から100の間隔にマッピングし、93から96の観測されたグレードを85から90の間隔にマッピングする必要があります。おそらく、84から93までの観察されたグレードは、間隔75から85にマッピングされるべきでしょうか？別の方法は、「観測されたグレード」から「予測された真のグレード」の式を取得するための（おそらく多項式）回帰です。おそらく、84から93までの観察されたグレードは、間隔75から85にマッピングされるべきですか？別の方法として、「観測されたグレード」から「予測された真のグレード」の式を取得するための（おそらく多項式）回帰があります。おそらく、84から93までの観察されたグレードは、間隔75から85にマッピングされるべきですか？別の方法として、「観測されたグレード」から「予測された真のグレード」の式を取得するための（おそらく多項式）回帰があります。

非常に単純なモデル：

$s_{1,i}$$i$$s_{2,i}$$A_1, \ldots, A_p$

各コホートは、生徒の力とグレーダーの容易さによって偏っています。これが相加効果であると仮定すると、次の方法でそれを取り消します。最初のテストでコホートの平均スコアを引き、2番目のテストでコホートの平均スコアを加算します。

$s'_1$

$s$

欠点は、コホートの人々が2回目のテストで不運になった場合、個々の学生が罰せられる可能性があることです。しかし、あらゆる統計的手法は、この潜在的に不公平な欠点をもたらします。

できません。少なくとも、追加のデータを収集することなく。理由を確認するには、このスレッド全体で@whuberの多数の賛成のコメントを読んでください。

編集

この回答で解決された問題は、嫌いな生徒にポイントを与えないグレーダーを見つけることです。

元の投稿

実装が簡単だと思う私のアプローチは、次のとおりです。

$\mu_{k, i}$$k$$i$$y_{k, i}$第二の割り当てのためのグレードを表します。

1

モデルを想定

$y_{k, i} = \mu_{k, i} + \alpha + \tau e_{k, i}$$\alpha$$\alpha$$i$$\alpha$がゼロでありますが、学生は最終試験の成績を変更して全体的な増減を行うことができます。

2

$G_i$$i$$\tilde{y}_{k, i}$

$y_{k, i} - \mu_{k, i} - \alpha = \tilde{y}_{k, i} = G_i + \sigma_i \tilde{e}_{k, i}$

そして、 11個の個別の推定を行う $G$$\sigma$

3

今、異常な観察はそのようなものです

$T = \vert \frac{\tilde{y} - G_i}{\sigma_i} \vert$

注意

$e$$T$

Rコード

以下はRのコードです。あなたの場合、muとyの両方が与えられるので、それらがrnorm-numbersを割り当てられたときの生成行は無視されることに注意してください。データなしでスクリプトを評価できるようにそれらを含めます。

mu_0 <- 50; 
alpha <- 5;
tau<- 10; 
# 0 Generate data for first assignment
mu <- matrix(rnorm(605, mu_0, tau), 11) 

# 1 Generate data for second assignment and estimate alpha
G <- rnorm(11, 0)*10;
for(i in 1:11){
    y[i,] <- rnorm(55, 0, sigma) + mu[i,] + alpha + G[i];
}

alpha_hat <- mean(y-mu)
alpha_hat

# 2 Form \tilde{y} and find unsual observations
ytilde <- y - mu - alpha_hat
T <- matrix(0, 11, 55);
for(i in 1:11){
    G_hat <- mean(ytilde[i,]);
    sigma_hat <- sd(ytilde[i,]);
    T[i,] <- order(abs(ytilde[i,] - G_hat)/sigma_hat)
}
# 3 Look at grader number 2 by
T[2,]

問題の言い換え：委任されたマーカーの定性的評価の範囲により、2部がより大きな不確実性にさらされることを必要とする条件で、2部のマークを試験に設定するための最善のアプローチ。

ここで：Master Tester =試験の責任者Delegated Tester =試験のパー2をマークするために割り当てられた人（11人中1人）学生=試験を受けることの楽しさを得る人

目標は次のとおりです。A）生徒は自分の作業を反映したマークを受け取りますB）マスターテスターの意図に合わせて第2部の不確実性を管理します

推奨されるアプローチ（回答）：1.マスターテスターは、試験の代表的なサンプルセットをランダムに選択し、パート＃2をマークし、パート＃1との相関を作成します2.相関を利用して、委任マーカーのデータをすべて評価します（パート＃1 vs＃2スコア）3.相関関係がマスターテスターと著しく異なる場合-マスターテスターが受け入れられる重要性-試験をマスターテスターとして調べ、結果を再割り当てします。

このアプローチにより、マスターテスターが相関と許容できる重要性について責任を負うことが保証されます。相関は、パート＃1対＃2のスコアや、テスト＃1対＃2の質問の相対スコアと同じくらい簡単です。

マスターテスターは、相関の「ゴム性」に基づいて、パート2の結果の品質を設定することもできます。