ランダムに選択された質問のテストで、生徒が他の生徒よりも良いスコアを獲得する確率はどのくらいですか？

セットがあるとします $S$ の $100$ 質問とあります $2$ 学生 $a$ そして $b$。

しましょう $P_{ai}$ 確率である $a$ 質問に答えます $i$ 正しく、そして $P_{bi}$ 同じ $b$。

すべて $P_{ai}$ そして $P_{bi}$ のために与えられています $i = 1...100$。

試験を想定する $E$ 取ることによって作られています $10$ からのランダムな質問 $S$。

どのように私はの確率を見つけることができます $a$ より良いスコアを得る $b$？

---

組み合わせのチェックと確率の比較を考えたのですが、数が多くて時間がかかるのでアイデアが足りませんでした。

動的プログラムは、これを短時間で処理します。

生徒へのすべての質問を管理し、ランダムにサブセットを選択するとします $\mathcal{I}$ の $k=10$ 全部なくなって $n=100$質問。確率変数を定義しましょう$X_i$ 問題の2人の生徒を比較する $i:$ に設定 $1$ 学生Aが正しく、学生Bが正しくない場合、 $-1$ 学生Bが正しく、学生Aが正しくない場合 $0$さもないと。合計

$$X_\mathcal{I} = \sum_{i\in\mathcal{I}} X_i$$

の質問のスコアの違いです $\mathcal I.$ 計算したい $\Pr(X_\mathcal{I} \gt 0).$ この確率は、との結合分布から得られ$\mathcal I$$X_i.$

の分布関数は$X_i$、学生が独立して応答するという仮定の下で容易に計算されます。

$$\eqalign{ \Pr(X_i=1) &= P_{ai}(1-P_{bi}) \\ \Pr(X_i=-1) &= P_{bi}(1-P_{ai}) \\ \Pr(X_i=0) &= 1 - \Pr(X_i=1) - \Pr(X_i=0). }$$

簡略化して、これらの確率をそれぞれと呼びます。書く$a_i,$ $b_i,$$d_i,$

$$f_i(x) = a_i x + b_i x^{-1} + d_i.$$

この多項式は、確率生成関数です$X_i.$

有理関数を考える

$$\psi_n(x,t) = \prod_{i=1}^n \left(1 + t f_i(x)\right).$$

（実際には、は多項式です。非常に単純な有理関数です。） $x^n\psi_n(x,t)$

が多項式として展開される場合、係数は異なるのすべての可能な積の合計から構成され これが唯一の力のための非ゼロ係数を有する有理関数となるから介しては一様にランダムに選択されるため、これらのべき乗の係数は合計が1になるように正規化すると、スコアの差の確率生成関数になります。 べき乗はサイズに対応し$\psi_n$$t$$t^k$$k$$f_i(x).$$x$$x^{-k}$$x^k.$ $\mathcal{I}$$x,$$\mathcal{I}.$

この分析のポイントは、簡単かつ合理的な効率で計算できること$\psi(x,t)$です多項式を順番に乗算するだけです。これを行うことの係数保持する必要でするために（もちろん、これらの部分積のいずれかに現れるすべての高次のべき乗を無視することもできます）。したがって、すべての必要な情報は、によって運ばで表すことができるの電力によってインデックス付け行と、行列（から貫通によってインデックス付け）と列$n$$1, t, \ldots, t^k$$\psi_j(x,t)$$j=0, 1, \ldots, n.$$t$$\psi_j(x,t)$$2k+1\times n+1$$x$$-k$$k$$0$ 使って $k$。

計算の各ステップには、この行列のサイズに比例する作業が必要です。 $O(k^2).$ ステップ数を説明すると、これは $O(k^2n)$-時間、 $O(kn)$-空間アルゴリズム。それは小さいためにそれはかなり速くなります$k.$ 私はそれをR（過度の速度で知られていない）のために実行しました$k$ まで $100$ そして $n$ まで $10^5,$（シングルコアで）9秒かかります。との設定で$n=100$ そして $k=10,$ 計算には $0.03$ 秒。

ここに例があります $P_{ai}$ の間の一様なランダム値です $0$ そして $1$ そしてその $P_{bi}$ それらの正方形です（これは常に $P_{ai}$、それによって学生A）を強く支持します。この正味スコアのヒストグラムで要約されているように、私は100,000の試験をシミュレートしました。

青いバーは、学生AがBよりも良いスコアを出した結果を示しています。赤い点は、動的プログラムの結果です。彼らはシミュレーションに美しく同意します（$\chi^2$ テスト、 $p=51\%$）。 この場合、すべての正の確率を合計すると答えが得られます。$0.7526\ldots.$

この計算は求められた以上の結果をもたらすことに注意してください：すべての試験のスコアの差の確率分布全体を生成します$k$ 以下のランダムに選択された質問。

---

機能する実装を使用または移植したい人のためにR、シミュレーションを生成し（vectorに格納Simulation）、動的プログラムを実行する（結果は配列P）コードを次に示します。repeat最後のブロックは、すべての非常にまれな結果を集約するだけであり、$\chi^2$テストは明らかに信頼できるようになります。（ほとんどの場合、これは問題ではありませんが、ソフトウェアが文句を言うのを防ぎます。）

n <- 100
k <- 10
p <- runif(n) # Student A's chances of answering correctly
q <- p^2      # Student B's chances of answering correctly
#
# Compute the full distribution.
#
system.time({
  P <- matrix(0, 2*k+1, k+1) # Indexing from (-k,0) to (k,k)
  rownames(P) <- (-k):k
  colnames(P) <- 0:k
  P[k+1, 1] <- 1
  for (i in 1:n) {
    a <- p[i] * (1 - q[i])
    b <- q[i] * (1 - p[i])
    d <- (1 - a - b)
    P[, 1:k+1] <- P[, 1:k+1] + 
      a * rbind(0, P[-(2*k+1), 1:k]) + 
      b * rbind(P[-1,  1:k], 0) + 
      d * P[,  1:k]
  }
  P <- apply(P, 2, function(x) x / sum(x))
})
#
# Simulation to check.
#
n.sim <- 1e5
set.seed(17)
system.time(
  Simulation <- replicate(n.sim, {
    i <- sample.int(n, k)
    sum(sign((runif(k) <= p[i]) - (runif(k) <= q[i]))) # Difference in scores, A-B
  })
)
#
# Test the calculation.
#
counts <- tabulate(Simulation+k+1, nbins=2*k+1)
n <- sum(counts)
k.min <- 5
repeat {
  probs <- P[, k+1]
  i <- probs * n.sim >= k.min
  z <- sum(probs[!i]) 
  if (z * n >= 5) break
  if (k.min * (2*k+1) >= n) break
  k.min <- ceiling(k.min * 3/2)
}
probs <- c(z, probs[i])
counts <- c(sum(counts[!i]), counts[i])
chisq.test(counts, p=probs)
#
# The answer.
#
sum(P[(1:k) + k+1, k+1]) # Chance that A-B is positive

各反復で、

$P(A>B)=P(A)∗(1−P(B))$

なぜなら、Aは、Aが正しく、Bが間違っている場合にのみ優れているからです。したがって、特定の質問について、Aが90％の確率で正しく、Bが80％の確率で正しい場合、Aが正しく、Bが間違っているという共同確率は

$P(A,B) = 0.9 ∗ 0.2 = 0.18$

これで、選択した10個すべての質問を通過し、この同時確率に基づいてポイントをAまたはBに割り当てるコードを記述できます。各試験の終わりに、勝者は最も多くのポイントを持つものです。これを何度も行い、AがBに勝つ確率を確認します。

これを行ういくつかのコードをここに書きました：https : //nbviewer.jupyter.org/github/kevinmcinerney/exam_probabilities/blob/master/exam_probabilities.ipynb

グラフはリンクに表示されませんが、次のようになります。

このシミュレーションは値を使用しました $P_{ai} = P_{bi} = 0.5$

この例では、それぞれが25の質問で構成される1000の試験を実行しましたが、すべてが同じ100の質問のセットを形成します。Y軸は、試験でAがBよりも優れていた確率です。（0-1000）の検査番号はX軸に沿っています

AとBの両方がランダムなPで問題を正解したため、グラフは50％に収束しました。私は25の質問を使用しました。10は100の質問を含む母集団の代表ではないためです。10個の質問を使用すると、グラフは50％近くまたは50％前後に収束する可能性が高くなります。3つの行は3つの個別の試験です。