「良い」分類子は私の精密再現率曲線を破壊しました。どうした？

私は不均衡なデータを処理しています。そこでは、すべてのclass = 1に対して約40のclass = 0ケースがあります。個々の機能を使用してクラスを合理的に区別することができ、6つの機能でナイーブベイズとSVM分類器をトレーニングし、データのバランスをとることで、より良い識別が得られました（以下のROC曲線）。

それは結構です、そして私はうまくやっていると思いました。ただし、この特定の問題の慣例は、通常50％から90％の間の精度レベルでヒットを予測することです。例：「90％の精度でいくつかのヒットを検出しました。」これを試したところ、分類子から得られる最大精度は約25％でした（黒い線、下のPR曲線）。

PR曲線は不均衡に敏感でROC曲線はそうではないので、これをクラスの不均衡問題として理解できました。ただし、不均衡は個々の機能に影響を与えていないようです。個々の機能（青とシアン）を使用すると、かなり高い精度を得ることができます。

何が起こっているのかわかりません。結局のところ、データが非常に不均衡であるため、PRスペースですべてがうまく機能していなければ、それを理解できました。分類子がROC と PRの領域で見た目が悪い場合にも、それを理解できました。しかし、ROCによって判断されると分類子をより良くするために何が起こっているのですか？

編集：TPR /リコールの低い領域（TPRが0から0.35の間）では、個々の機能がROC曲線とPR曲線の両方の分類子を常に上回っていることに気付きました。多分私の混乱は、ROC曲線が高いTPR領域（分類器がうまく機能している場合）を「強調」し、PR曲線が低いTPR（分類器が悪い場合）を強調しているためです。

編集2：バランスの取れていないデータ、つまり生データと同じ不均衡でのトレーニングにより、PR曲線が復活しました（以下を参照）。私の問題は分類子の不適切なトレーニングだったと思いますが、何が起こったのか完全には理解できません。

クラスが適度に不均衡（つまり、100：1以上）で、しきい値不変メトリック（AUC​​など）を使用している場合、ダウンサンプリング/アップサンプリングを使用しても、信じられないほどのメリットはないことがわかりました。サンプリングは、F1スコアや精度などのメトリックに最大の影響を与えます。サンプリングは、ROCカーブの「最適な」場所と見なされる可能性があるものにしきい値を近づけるために人為的に移動するためです。この例は、キャレットのドキュメントで確認できます。

それが問題のコンテキストに完全に関連しているので、良いAUCを持つことは精度よりも優れているという点で@Chrisに同意しません。さらに、クラスが不均衡な場合、AUCが良好であっても、必ずしも正確な再現率曲線になるとは限りません。モデルが優れたAUCを示しているが、早期の検索が不十分である場合、Precision-Recall曲線は多くのことが望まれます。同様の質問に対するこの回答で、これが起こっていることの良い例を見ることができます。このため、斎藤ら。クラスが不均衡な場合は、AUCではなく、Precision-Recall曲線の下の領域を使用することをお勧めします。

モデルを評価する最良の方法は、モデルが実際にどのように使用されるかを検討し、コスト関数を開発することです。

余談ですが、たとえば、rの2乗にあまりにも重点を置いていますが、多くの人はそれが役に立たない統計であると信じています。ですから、1つの統計にとらわれないでください。

あなたの答えは精度のパラドックスの例だと思います。

https://en.m.wikipedia.org/wiki/Accuracy_paradox

リコール（真陽性率とも呼ばれる感度）は、取得される関連インスタンスの割合です。

tpr = tp /（tp + fn）

精度（別名、正の予測値）は、関連する検索されたインスタンスの割合です。

ppv = tp /（tp + fp）

99のポジティブと1つのネガティブの非常に不均衡なセットがあるとします。

モデルがすべてが肯定的であるとモデルが訓練されているとしましょう。

tp = 99 fp = 1 ppvは0.99になります

「良い」ポジティブ予測値にもかかわらず、明らかにジャンクモデル。

オーバーサンプリングまたはアンダーサンプリングのいずれかによりバランスの取れたトレーニングセットを構築することをお勧めします。モデルが構築されたら、が元の不均衡を維持する検証セットを使用し、その上にパフォーマンスチャートを構築します。

PR曲線は不均衡に敏感でROC曲線はそうではないので、これをクラスの不均衡問題として理解できました。ただし、不均衡は個々の機能に影響を与えていないようです。個々の機能（青とシアン）を使用すると、かなり高い精度を得ることができます。

これは実際には逆です。ROCはクラスの不均衡に敏感ですが、歪んだクラス分布を処理する場合はPRがより堅牢です。https://www.biostat.wisc.edu/~page/rocpr.pdfを参照してください。

彼らはまた、「ROC曲線の下の領域を最適化するアルゴリズムは、PR曲線の下の領域を最適化することを保証されていない」ことも示しています。