低い分類精度、次に何をすべきか？

だから、私はML分野の初心者であり、分類を試みます。私の目標は、スポーツイベントの結果を予測することです。いくつかの履歴データを収集し、分類器のトレーニングを試みました。約1200個のサンプルを取得しましたが、そのうちの0.2個はテスト目的で分割し、その他は異なる分類器を使用してグリッド検索（クロス検証を含む）に入れました。今のところ、線形カーネル、rbfカーネル、多項式カーネル、およびランダムフォレストを使用してSVMを試しました。残念ながら、0.5を大きく超える精度を得ることができません（クラスのランダム選択と同じです）。そのような複雑なイベントの結果を予測できないということですか？または、少なくとも0.7-0.8の精度を得ることができますか？実行可能であれば、次に何を検討する必要がありますか？

• より多くのデータを取得しますか？（データセットを最大5倍まで拡大できます）
• 別の分類器を試してみませんか？（ロジスティック回帰、kNNなど）
• 機能セットを再評価しますか？分析するMLツールはありますか？機能セットを減らす必要があるかもしれません（現在、12個の機能があります）。

まず、分類子がランダムな選択よりも優れていない場合、機能とクラスの間に単純なつながりがないというリスクがあります。そのような立場にあると自問するのに良い質問は、与えられた特徴に基づいて、あなたまたはドメインの専門家がクラスを（ランダムな分類器よりも高い精度で）推測できる天気です。いいえの場合、さらにデータ行を取得したり、分類子を変更しても役に立ちません。必要なことは、さまざまな機能を使用してより多くのデータを取得することです。

一方、クラスを推測するために必要な情報がすでにラベルにあると思う場合は、分類器が高バイアスまたは高分散の問題に苦しんでいるかどうかを確認する必要があります。

これを行うには、トレーニング例の関数として、検証エラーとトレーニングセットエラーをグラフ化します。

線が同じ値に収束し、最後に近いように見える場合、分類器のバイアスは高く、データを追加しても役に立ちません。この場合の良いアイデアは、より高い分散を持つものの分類器を変更するか、現在の分類器の正則化パラメーターを単に下げることです。

一方、ラインが非常に離れており、トレーニングセットエラーが低く、検証エラーが高い場合、分類器の分散が高すぎます。この場合、より多くのデータを取得することが非常に役立ちます。より多くのデータを取得した後でも分散が大きすぎる場合は、正則化パラメーターを増やすことができます。

これは、あなたのような問題に直面したときに使用する一般的な規則です。

乾杯。

分類を試みる前に、一歩下がって探索的なデータ分析を行うことをお勧めします。対象の機能を個別に調べて、関心のある結果との関係があるかどうかを確認する価値があります。使用している機能がクラスラベルと関連付けられていない可能性があります。持っている機能が使用されるかどうかをどのように知るのですか？

仮説のテストまたは相関分析を行って、関係をテストすることから始めることができます。フィーチャのクラス固有のヒストグラムを生成する（つまり、各軸の特定のフィーチャの各クラスのデータのヒストグラムをプロットする）ことも、フィーチャが2つのクラスを適切に区別しているかどうかを示す良い方法です。

ただし、探索的分析の結果が分類の選択に影響を与えないようにすることが重要です。同じデータに対する事前の探索的分析に基づいて分類する機能を選択すると、オーバーフィッティングとバイアスのかかったパフォーマンス推定が発生する可能性があります（こちらの説明を参照）が、探索的分析により、少なくともあなたがしようとしているタスクが可能。

データをトレーニングデータとテストデータに分けておくと便利です。

トレーニング時にトレーニングエラーがなくなりましたか？そうでない場合は、トレーニングアルゴリズムにバグがある可能性があります。テストセットのエラーはトレーニングセットのエラーよりも大きいと予想されるため、トレーニングセットで許容できないほど高いエラーが発生した場合、成功する見込みはほとんどありません。

機能を削除することで、ある種の過剰適合を回避できます。ただし、トレーニングセットのエラーは改善されません。トレーニングセットの低いエラーとテストセットの高いエラーは、過度に柔軟な機能セットを使用して過剰適合を示している可能性があります。ただし、テストセットで行うよりも、クロス検証で確認する方が安全です。テストセットに基づいて機能セットを選択すると、テストセットとしては無効になります。

「データのプロットを最初に見る」という原則に従わないのはなぜですか。できることの1つは、2つの共変量の2つのクラス条件密度の2 D散布図です。これらを見て、予測可能性の欠如を示す可能性のある分離が事実上ない場合、すべての共変量でこれを行うことができます。これにより、これらの共変量を使用して予測する機能についてのアイデアが得られます。これらの変数が少し分離できるという希望があれば、線形判別式、2次判別式、カーネル判別、正則化、ツリー分類、SVMなどについて考え始めてください。