精度-再現率曲線に適したAUCとは何ですか？

非常に不均衡なデータセット（9％の肯定的な結果）があるので、ROC曲線よりも精度-再現率曲線の方が適切であると判断しました。PR曲線下の面積の類似の要約測定値（興味がある場合は.49）を取得しましたが、それをどのように解釈するかわかりません。.8以上がROCに適したAUCであると聞きましたが、一般的なカットオフは、精度-再現率曲線のAUCと同じですか？

AUC-ROCとAUC-PRのどちらにもマジックカットオフはありません。高いほど明らかに優れていますが、完全にアプリケーションに依存します。

たとえば、AUC 0.8で収益性の高い投資を特定できた場合、または偶然と区別できるものであれば、私は非常に感銘を受け、あなたは非常に豊かになります。一方、0.95のAUCで手書き数字を分類することは、現在の技術水準よりもかなり低いです。

さらに、可能な限り最良のAUC-ROCが[0,1]にあることが保証されていますが、クラス分布がどの程度歪んでいるかに応じて、PR空間の「到達不能」領域が存在する可能性があるため、これは精密再現曲線には当てはまりません。（詳細についてはBoyd et al（2012）によるこの論文を参照してください）。

.49は素晴らしいものではありませんが、その解釈はROC AUCとは異なります。ROC AUCの場合、ロジスティック回帰モデルを使用して.49を取得した場合、ランダムよりも優れていると言えます。.49 PR AUCの場合は、それほど悪くはないかもしれません。個人の精度と再現率を検討することを検討します。おそらく、どちらかがあなたのPR AUCを押し下げているものです。思い出すと、その9％のポジティブクラスのうち、実際にどれだけ正しいと推測しているかがわかります。プレシジョンでは、ポジティブではないものをいくつ推測したかがわかります。（偽陽性）。50％の再現率は悪いので、不均衡なクラスの多くを推測していませんが、おそらく50％の精度は悪くありません。あなたの状況に依存します。

ランダムな推定量の場合、PR-AUCは0.09（9％の肯定的な結果）になるため、0.49は間違いなく大幅な増加です。

これが良い結果である場合は、他のアルゴリズムと比較してのみ評価できますが、使用した方法/データの詳細は提供していません。

さらに、PRカーブの形状を評価することもできます。理想的なPR曲線は、左上隅から水平方向に右上隅に、そして右下隅に向かってまっすぐに伸び、PR-AUCは1になります。一部のアプリケーションでは、PR曲線は最初に強いスパイクを示し、 「ランダム推定線」（あなたの場合0.09の精度での水平線）の近くに再びドロップします。これは、「強力な」肯定的な結果を適切に検出できることを示しますが、あまり明確でない候補者のパフォーマンスは低くなります。

アルゴリズムのカットオフパラメーターの適切なしきい値を見つけたい場合は、右上隅に最も近いPR曲線上の点を考慮することができます。または、可能であれば、相互検証を検討してください。PR-AUCの値よりもアプリケーションにとって興味深い特定のカットオフパラメーターの精度と再現率の値を実現できます。異なるアルゴリズムを比較する場合、AUCは最も興味深いものです。