精密再現曲線の「最適な」操作点を決定する標準的な方法はありますか?(つまり、精度と再現率の間の適切なトレードオフを提供する曲線上のポイントを決定します)
ありがとう
精密再現曲線の「最適な」操作点を決定する標準的な方法はありますか?(つまり、精度と再現率の間の適切なトレードオフを提供する曲線上のポイントを決定します)
ありがとう
回答:
「最適」の定義は、もちろん特定の目標に依存しますが、いくつかの比較的「標準的な」方法を次に示します。
等誤り率(EER)ポイント:精度が再現率に等しいポイント。これは、「自然な」動作点のように感じる人もいます。
上記の洗練されたより原則的なバージョンは、さまざまな種類のエラーのコストを指定し、そのコストを最適化することです。アイテムの誤分類(精度のエラー)は、アイテムの完全な欠落(リコールのエラー)の2倍の費用がかかるとします。次に、(1-リコール)= 2 *(1-精度)が最適な操作点です。
いくつかの問題では、人々は自然な最小許容率の精度または再現率を持っています。取得したデータの20%以上が正しくない場合、ユーザーはアプリケーションの使用を停止することを知っているとしましょう。次に、精度を80%(または少し低い)に設定し、その時点でのリコールを受け入れます。
SheldonCooperの2番目と3番目の箇条書きのフォローアップ:理想的な選択は、しきい値(ポイント3)またはコストメリットのトレードオフ(ポイント2)の形で誰かに選択をさせることです。そして、おそらくそれらに選択肢を提供する最も良い方法は、ROC曲線を使用することです。
これがどの程度「標準」であるかはわかりませんが、(1、1)に最も近い点、つまり100%の再現率と100%の精度を選択する方法があります。それが2つの測定値の間の最適なバランスになります。これは、再現率よりも精度を重視しないこと、またはその逆を前提としています。