正規（またはその他の）ディストリビューションの「ブレーク」を正式にテストする方法

社会科学では、何らかの方法で、通常は分布するはずの変数が、特定の点の周りの分布に不連続性をもたらすことがよくあります。

たとえば、「合格/不合格」などの特定のカットオフがあり、これらの対策が歪みの影響を受けている場合、その時点で不連続性がある可能性があります。

有名な例の1つ（以下に引用）は、学生の標準化されたテストのスコアが、50％から60％までの質量がほとんどなく60％から65％程度の過剰な質量がある60％を除いて、基本的にどこにでも分布します。これは、教師が自分の生徒の試験を採点する場合に発生します。著者は、教師が生徒の試験合格を本当に支援しているかどうかを調査します。

間違いなく最も説得力のある証拠は、さまざまなテストのさまざまなカットオフの周りに大きな不連続があるベルカーブのグラフを示すことです。しかし、統計的検定をどのように作成しますか？彼らは補間を試みてから、分数の上または下の分数を比較し、カットオフの上下5ポイントの分数についてもt検定を行いました。これらは賢明ですが、アドホックです。誰かがもっと良いことを考えることができますか？

リンク： 生徒と学校の評価における規則と裁量：ニューヨークリージェンツ試験の事例 http://www.econ.berkeley.edu/~jmccrary/nys_regents_djmr_feb_23_2011.pdf

質問を適切に構成し、スコアの有用な概念モデルを採用することが重要です。

質問

55、65、85などの不正の可能性のあるしきい値は、データとは関係なくアプリオリに知られています。データから決定する必要はありません。（したがって、これは外れ値の検出の問題でも、分布の当てはめの問題でもありません。）テストでは、これらのしきい値より少し小さい（すべてではない）スコアがそれらのしきい値に（または、おそらくこれらのしきい値をちょうど超えて）移動したという証拠を評価する必要があります。

概念モデル

概念モデルの場合、スコアが正規分布（他の簡単にパラメーター化された分布）になる可能性は低いことを理解することが重要です。これは、投稿された例と、元のレポートのその他すべての例で非常に明確です。これらのスコアは学校の混合を表しています。学校内の分布が正常であったとしても（そうではない）、混合は正常ではない可能性があります。

単純なアプローチは、真のスコア分布があることを受け入れます。これは、この特定の不正な形式を除いて報告されるものです。 したがって、これはノンパラメトリック設定です。広すぎるように見えますが、実際のデータで予測または観察できるスコア分布にはいくつかの特徴があります。

1. $i-1$$i$$i+1$$1 \le i \le 99$

2. スコア分布のいくつかの理想化された滑らかなバージョンを中心に、これらのカウントに変動があります。これらの変動は、通常、カウントの平方根に等しいサイズになります。

3. $t$$i\ge t$$i$$c(i)$$\delta(t-i)c(i)$$t(i)$

4. $\delta(i)$$i=1,2,\ldots$

$t$$\delta(1)=0$$\delta$$0$$\delta(1)\gt 0$

テストの作成

$c'(i) = c(i+1)-c(i)$$i$$t$$t$$t+1$

$$c''(i) = c'(i+1) - c'(i) = c(i+2) - 2c(i+1) + c(i),$$

$i = t-1$$c(t+1)-c(t)$$c(t) - c(t-1)$

$c''(t-1) = c(t+1) - 2c(t) + c(t-1)$

$$\text{var}(c''(t-1)) \approx \text{var}(c(t+1)) + (-2)^2\text{var}(c(t)) + \text{var}(c(t-1)).$$

$\text{var}(c(i)) \approx c(i)$$i$

$$z = c''(t-1) / \sqrt{c(t+1) + 4c(t) + c(t-1)}$$

$c''(t-1)$$\alpha$$\Phi$$t$$\Phi(z) \lt \alpha$

例

たとえば、3つの正規分布の混合からiidを描画した、この真のテストスコアのセットを考えてみます。

$t=65$$\delta(i) = \exp(-2 i)$

$z$$t$

$z$

$z = -4.19$$\Phi(z) = 0.0000136$

$z$

このテストを複数のしきい値に適用する場合、テストサイズのBonferroni調整が賢明です。同時に複数のテストに適用する場合の追加の調整も良い考えです。

評価

$z$$z$ とてもシンプルなので、シミュレーションは実行可能で、実行も高速です。

ディップを明示的に予測するモデルをフィッティングし、それが単純なモデルよりもデータに非常によく適合することを示すことをお勧めします。

次の2つのコンポーネントが必要です。

• スコアの初期分布、
• スコアがしきい値を下回ったときにスコアの再確認（正直かどうか）の手順。

$t$

$$p_{final}(s) = p_{initial}(s) - p_{initial}(s)m(s\rightarrow t)+ \delta(s=t)\sum_{s'=0}^{t-1}p_{initial}(s')m(s'\rightarrow t),$$

• $p_{final}(s)$
• $p_{initial}(s)$
• $m(s'\rightarrow t)$$s'$$t$
• $\delta(s=t)$$s=t$

$m(s'\rightarrow t)\approx a q^{t-s'}$$a$

初期分布として、ポアソン分布またはガウス分布を使用することができます。もちろん、同じテストをするのが理想的ですが、教師の1つのグループはしきい値を提供し、もう1つのグループはしきい値を提供しません。

$t_i$$a_i$

ノート：

• 合格点を下回っている場合は、テストを再確認する手順があります。次に、どのインスタンスが正直で、どのインスタンスが正直であったかを言うのはより困難です。
• $m(s\rightarrow t)$$s$
• $t$$\delta(s=t)$

この問題を2つの副問題に分けます。

• データに適合するように分布のパラメーターを推定する
• 近似分布を使用して外れ値検出を実行する

どちらかの副問題に取り組むには、さまざまな方法があります。

ポアソン分布は、独立して同一に分布（iid）されている場合、データに適合しているように見えますが、もちろんそうではありません。単純に分布のパラメーターを推定しようとすると、異常値によって歪められます。これを克服する2つの可能な方法は、ロバスト回帰手法、または交差検証などのヒューリスティック手法を使用することです。

外れ値の検出のために、再び数多くのアプローチがあります。最も簡単な方法は、ステージ1で近似した分布からの信頼区間を使用することです。他の方法には、ブートストラップ法やモンテカルロアプローチがあります。

これは、分布に「ジャンプ」があることを通知することはありませんが、サンプルサイズに対して予想されるよりも多くの外れ値があるかどうかを通知します。

より複雑なアプローチは、複合分布などのデータのさまざまなモデルを作成し、ある種のモデル比較方法（AIC / BIC）を使用して、どのモデルがデータに最適であるかを判断することです。ただし、単に「予想される分布からの逸脱」を探しているのであれば、これはやり過ぎのようです。