感度と特異性を組み合わせた分類器の性能測定？

複数の分類子を使用して分類を実行している2クラスのラベル付きデータがあります。そして、データセットはバランスが取れています。分類子のパフォーマンスを評価するとき、真の陽性だけでなく真の陰性も判別する際に、分類子がどれほど正確であるかを考慮する必要があります。したがって、精度を使用し、分類子がポジティブに偏っており、すべてをポジティブとして分類すると、真のネガティブの分類に失敗したとしても、約50％の精度が得られます。このプロパティは、1つのクラスのみに焦点を当て、さらにF1スコアに焦点を当てているため、精度と再現率まで拡張されています。（これは、たとえば「精度、Fスコア、およびROCを超えて：パフォーマンス評価のための判別指標のファミリ」など、このペーパーからでも理解できることです）。

したがって、感度と特異度（TPRとTNR）を使用して、クラスごとに分類子がどのように機能するかを確認し、これらの値を最大化することを目指しています。

私の質問は、これらの両方の値を1つの意味のある指標に結合する指標を探しているということです。私はその論文で提供されている対策を調査しましたが、それは重要なことでした。そして、私の理解に基づいて、なぜFスコアのようなものを適用できないのかと思っていましたが、精度と再現率を使用する代わりに、感度と特異度を使用するのでしょうか。したがって、式は 、私の目的は最大化することですこの対策。私はそれが非常に代表的だと思います。同様の式はすでにありますか？そして、これは理にかなっていますか、それとも数学的にも正しいですか？

考慮すべき特定の対策はないか、1つだけの対策があるかもしれません。

前回、確率的分類を行ったとき、RパッケージのROCRと、False PositivesおよびFalse Negativesの明示的なコスト値がありました。

私は0から1までのすべてのカットオフポイントを考慮し、このカットオフポイントを選択するときに予想コストなどの多くの測定値を使用しました。もちろん、正確さを分類するための一般的な尺度として、すでにAUC尺度を使用していました。しかし、私にとってこれは唯一の可能性ではありませんでした。

FPケースとFNケースの値は、特定のモデルの範囲外である必要があります。これらの値は、一部の主題の専門家によって提供されますか？

たとえば、顧客チャーン分析では、顧客が解約していないと誤って推論することはコストが高くなる可能性がありますが、これらを正しいグループにターゲティングすることなく、サービスの価格を全体的に下げることはコストが高くなります。

-アナリスト

分類の正確さ、感度、特異度、およびそれらの単純な組み合わせはすべて不適切なスコアリングルールです。つまり、それらは偽のモデルによって最適化されます。それらを使用すると、間違った機能を選択し、間違った重みを与え、最適ではない決定をすることになります。決定が最適ではない多くの方法の1つは、予測確率がこれらの測度の使用によって暗示されるしきい値に近い場合に得られる誤った信頼です。要するに、失敗する可能性のあるすべてのものは、これらの対策で失敗します。それらを使用して2つの適切に適合されたモデルを比較しても、誤解を招きます。