非常に不均衡なデータセットのトレーニングのクイックガイド

トレーニングセットに約1000個の陽性サンプルと10000個の陰性サンプルがある分類問題があります。したがって、このデータセットは非常に不均衡です。プレーンランダムフォレストは、すべてのテストサンプルを多数派クラスとしてマークしようとしています。

ここでは、サブサンプリングと重み付きランダムフォレストに関するいくつかの良い答えを示します。高度にバイアスされたデータセットを使用してツリーアンサンブルをトレーニングすることの意味は何ですか？

RF以外のどの分類方法が問題を最善の方法で処理できますか？

• Max Kuhnは、Applied Predictive Modelingの Ch16でこれについて詳しく説明しています。
• リンクされたスレッドで述べたように、不均衡なデータは本質的にコストに敏感なトレーニングの問題です。したがって、コストに敏感なアプローチは、不均衡なデータに適用できます。
• そのようなアプローチは多数あります。R：C50にすべて実装されているわけではありませんが、加重SVMはオプションです。ジュウブースト。RusboostはMatlabコードとしてのみ利用可能だと思います。
• Wekaは使用していませんが、コスト重視の分類器が多数あると考えています。
• 不均衡なデータセットの処理：レビュー：Sotiris Kotsiantis、Dimitris Kanellopoulos、Panayotis Pintelas '
• 階級不均衡問題について：新j郭、Y龍陰、ケイリング・ドン、公平ong、周広広

このような状況では、大多数のクラスをアンダーサンプリングするのが通常の方法です。

ポジティブクラスのインスタンスが少なすぎると思われる場合は、オーバーサンプリングを実行できます。たとえば、サイズnのデータセットからの置換で5nインスタンスをサンプリングします。

警告：

• 一部のメソッドは、たとえばNaive Bayesのように、クラス分布の変化に敏感な場合があります-事前確率に影響します。
• オーバーサンプリングはオーバーフィットにつながる可能性があります

ここでは、勾配ブースティングも良い選択です。たとえば、sci-kit learnで勾配ブースティング分類器を使用できます。勾配ブースティングは、誤って分類された例に基づいて連続したトレーニングセットを構築することにより、クラスの不均衡に対処する原則的な方法です。

ここに投稿された回答に加えて、ポジティブな例の数がネガティブな例と比較して少なすぎる場合、ポジティブな例が異常である異常検出問題に近づきます。

多変量ガウス分布を使用してすべてのポイントをモデル化し、平均から2または3離れたポイントを選択することから、異常を検出するためのさまざまな方法があります。

思考の別の食べ物-両方のクラスの数が同じになるように、より多くの例で否定的な例をランダムにサンプリングするかなりの数の人々を見てきました。バランスを取りたいかどうかは、手元の問題次第です。