私の「機械学習」タスクは、悪意のあるトラフィックから良性のインターネットトラフィックを分離することです。現実の世界のシナリオでは、インターネットトラフィックのほとんど（たとえば90％以上）が無害です。したがって、モデルのトレーニングにも同様のデータ設定を選択する必要があると感じました。しかし、「クラスバランシング」データアプローチを使用してモデルをトレーニングし、同数の良性および悪意のあるトラフィックのインスタンスを暗示している研究論文（私の研究分野）に出会いました。
一般に、機械学習モデルを構築している場合、実世界の問題を代表するデータセット、またはモデルの構築に適したバランスの取れたデータセットを選択する必要があります（特定の分類子がクラスの不均衡でうまく動作しないため、または私に知られていない他の理由による）？
誰かが選択の長所と短所、そしてどちらを選択するかを決定する方法の長所と短所にもっと光を当てることができますか？
回答:
答えはあなたのユースケースに依存すると思います。私の経験に基づいて：
それは常にシナリオに依存すると思います。代表的なデータセットを使用することが常に解決策とは限りません。トレーニングセットに1000の負の例と20の正の例があると仮定します。分類子を変更しなければ、アルゴリズムはすべての新しい例を否定として分類する傾向があります。いくつかのシナリオではこれで問題ありませんが、多くの場合、見本となる例を見逃すコストが高いため、解決策を見つける必要があります。
このような場合、コストに敏感な機械学習アルゴリズムを使用できます。たとえば、医療診断データ分析の場合。
要約すると、分類エラーのコストは同じではありません！
運用シナリオとトレーニングシナリオを分離します。
運用シナリオは、分類子が測定されるシナリオです。これはあなたがうまく実行する必要がある場所です。使用には、このシナリオを代表するデータセットが必要です。
トレーニングシナリオは、運用シナリオで適切に機能する分類子を構築するために行うことです。
多くの場合、両方のシナリオのデータセットは同じ性質のものであるため、それらを区別する必要はありません。たとえば、オンラインストアがあるため、過去の使用法をトレーニングして将来の使用法でうまく機能させるために使用します。ただし、トレーニング中は、運用シナリオを表すデータセットとは異なるデータセットを使用できます。実際、眠っている場合、分類子を夢見ている場合、動作シナリオで検証します（このステップは目覚めた後に実行する必要があります）。
データセットのバランスが崩れている場合、運用シナリオとトレーニングシナリオの区別が重要になります。ほとんどのアルゴリズムは、このようなデータセットではうまく機能しません。
したがって、2つのデータセットを使用することをためらわないでください-バランスの取れたデータセットをトレーニングに使用できます。完了したら、運用データセットの分類子を検証します。
考慮すべき2つの問題があると思います。トレーニング時間と予測精度です。
簡単な例を考えてみましょう。多変量正規分布を持つ2つのクラスがあるとします。基本的に、それぞれのクラス平均とクラス共分散を推定する必要があります。さて、最初に気をつけなければならないのは、クラス平均の差の推定値です：しかし、パフォーマンスは最悪の推定平均値の精度によって制限されます：1つの平均値を小数点以下100桁まで推定するのは良くありません-他の平均値が小数点以下1桁と推定されます。したがって、すべてのデータを使用することはコンピューティングリソースの無駄です。代わりに、より一般的なクラスをアンダーサンプリングし、クラスを適切に再重み付けすることができます。（これらのコンピューティングリソースを使用して、さまざまな入力変数などを探索できます）
2番目の問題は予測精度です。異なるアルゴリズムは異なるエラーメトリックを使用しますが、これはユーザーの目標に一致する場合と一致しない場合があります。たとえば、ロジスティック回帰は全体の確率誤差にペナルティを科します。したがって、データのほとんどが1つのクラスからのものである場合、特定しようとするのではなく、その1つのクラスの正確な確率推定（たとえば、90対95％の確率）を改善しようとする傾向がありますまれなクラス。その場合は、レアクラスを強調するために重み付けを再試行することをお勧めします（その後、[バイアス項を調整して]推定値を調整し、確率推定値を再調整します）