分類結果の重要性をテストする正しい方法は何ですか

いくつかの異なる分類器をトレーニングしたり、いくつかの異なる特徴抽出方法を使用したりする多くの状況があります。文献では、著者はしばしば、データのランダムな分割のセット（つまり、二重にネストされた交差検証の後）で平均分類誤差を与え、時には分割での誤差にも分散を与えます。しかし、これだけでは、ある分類器が別の分類器よりもはるかに優れていると言うには不十分です。これに対する多くの異なるアプローチを見てきました-カイ2乗検定、t検定、事後検定付きANOVAなどを使用します。

統計的有意性を判断するには、どの方法を使用する必要がありますか？その疑問の根底にあるのは、分類スコアの分布についてどのような仮定を立てるべきかということです。

@jbの優れた答えに加えて、同じテストセットでMcNemarのテストを使用して、ある分類器が他の分類器よりも有意に優れているかどうかを判断できることを付け加えます。これは、分類問題（McNemarの元の研究で「二分特性」と呼ばれるもの）でのみ機能します。つまり、分類子は、真ん中にスペースがなくても正しいか間違っているかのどちらかです。

分類エラーの分布はバイナリ分布であるため（誤分類があるか、存在しないかのどちらかです）---カイ2乗の使用は賢明ではないと思います。

また、同じデータセットで機能する分類器の効率のみを比較するのが理にかなっています-「無料昼食定理なし」は、すべてのモデルがすべてのデータセットで同じ平均効率を持っていると述べているため、どのモデルがより良く見えるかは、どのデータセットがあったかにのみ依存しますhttp://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimizationをトレーニングすることを選択しました。

データセットDに対してモデルAとモデルBの効率を比較している場合、選択を行うには平均効率+平均で十分であると思います。

さらに、合理的な効率を備えた（そして、互いに線形に独立している）モデルが多数ある場合は、最適なモデルを選択するだけでなく、アンサンブルモデルを構築します。

Tom Dietterichによる「教師付き分類学習アルゴリズムを比較するための近似統計検定」というタイトルの論文をお勧めします。：ここではCiteSeer上の紙のプロフィールだhttp://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.37.3325が。要約から：「このペーパーでは、特定の学習タスクで1つの学習アルゴリズムが他の学習アルゴリズムよりも優れているかどうかを判断する5つの近似統計テストをレビューします。 ）。... McNemarのテストでは、タイプIエラーが少ないことが示されています。... "

私見では、スコアの分布と他の種類のデータの分布に違いはないはずです。したがって、基本的に確認する必要があるのは、データが正常に配信されているかどうかだけです。さらに、この質問を徹底的に扱う素晴らしい本があります（つまり、簡単に言うと、2つの分類器の結果が著しく異なるかどうかをテストします。

すべての状況に適した単一のテストはありません。2011年ケンブリッジ大学出版局のナタリー・ジャプコウィッツとモハック・シャーによる「評価アルゴリズムの学習」という本をお勧めします。私の研究のニーズに実際に合ったテストがないことをしばしば発見したので、最終的に使用される方法の長所と短所を十分に把握することが重要です。

一般的な問題は、大規模なデータセットの場合、実用的な意味のない効果サイズで統計的に有意な差が得られる可能性があることです。