統計的有意性に関する2つの分類器の精度結果をt検定と比較する

統計的有意性について2つの分類器の精度を比較したいと思います。両方の分類器は同じデータセットで実行されます。これは、私が読んでいたものから1つのサンプルt検定を使用するべきだと思うように導きます。

例えば：

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

これは使用するのに適切なテストですか？もしそうなら、分類器間の精度の差が有意であるかどうかをどのように計算しますか？

または、別のテストを使用する必要がありますか？

分類器を1回だけトレーニングする場合は、おそらくMcNemarのテストを選択します。また、David Barberは、私にとってはかなりエレガントに見えるが、あまり使用されていない、かなりきちんとしたベイジアンテストを提案しています（彼の本にも記載されています）。

追加するだけで、Peter Flomが言うように、答えはほとんど間違いなく「はい」です。パフォーマンスの違いとサンプルのサイズを見るだけです（引用された数字はトレーニングセットのパフォーマンスではなくテストセットのパフォーマンスです）。

ちなみに、JapkowiczとShahは「学習アルゴリズムの評価：分類の観点」に関する最近の本を読んでいますが、私はそれを読んでいませんが、これらの種類の問題の有用な参照のようです。

何も実行しなくても、その違いは統計的に非常に重要であることがわかります。IOTT（眼間外傷テスト-眼の間を打つ）に合格します。

ただし、テストを実行する場合は、2つの比率のテストとして実行できます。これは、2サンプルのt検定で実行できます。

ただし、「精度」をそのコンポーネントに分解することもできます。感度と特異性、または偽陽性と偽陰性。多くのアプリケーションでは、さまざまなエラーのコストはまったく異なります。

この場合、精度は正しく分類されたサンプルの割合であるため、2つの割合のシステムに関する仮説検定を適用できます。

ましょう及びそれぞれ分類1および2から得られた精度であり、そしてサンプル数です。分類器1および2で正しく分類されたサンプルの数は、それぞれおよびです。$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

検定統計量は次によって与えられます

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ where$\quad\hat p= (x_1+x_2)/2n$

私たちの意図は、分類器2のグローバルな精度、つまりが分類器1 のグローバルな精度であることを証明することです。これは、仮説を$p_2$$p_1$

• $H_0: p_1 = p_2\quad$（両方とも等しいという帰無仮説）
• $H_a: p_1 < p_2\quad$（新しいものが既存のものより優れていると主張する代替の仮説）

拒否領域は次のように与えられます

$Z < -z_\alpha \quad$（trueの場合、を拒否し、を受け入れ）H $H_0$$H_a$

ここで、z_は、有意水準関係する標準正規分布から取得されます。例えば、有意水準5％の、です。つまり、リレーションが真の場合、95％の信頼レベル（）で、分類器2は分類器1よりも正確であると言えます。 α Z $z_\alpha$$\alpha$Z < - 1.645 1 - $z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

参照：

1. R.ジョンソンとJ.フロイント、ミラーとフロイントのエンジニアの確率と統計、第8版 プレンティスホールインターナショナル、2011年。（一次資料）
2. 仮説コンサイス式概要の試験。（[1]から採用）