エッジケースの精度と再現率の正しい値は何ですか？

20

精度は次のように定義されます：

p = true positives / (true positives + false positives)

それは、それを修正しているtrue positivesとfalse positives、精度が1に近づくアプローチ0？

リコールに関する同じ質問：

r = true positives / (true positives + false negatives)

現在、これらの値を計算する必要がある統計テストを実装していますが、分母が0である場合があり、この場合にどの値を返すのか迷っています。

PS：不適切なタグをすみません、、およびを使用したいのですがrecall、新しいタグをまだ作成できません。precisionlimit

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

— ビョルン・ポレックス
ソース

制限タグは必要ないと思います。

おそらく、何らかの診断手順のパフォーマンスを定量化しようとしているのでしょう。d '、A'、またはROC曲線下の面積など、適切な信号検出理論のメトリックを使用していない理由はありますか？

— マイクローレンス

3

@Mike、精度、リコールは、たとえば、多数の誤検知を既に予想しているため、ROC、または特に特異性を使用するのが難しい情報検索などの一般的な評価指標です。

— user979

17

混同マトリックスが与えられた場合：

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

私達はことを知っています：

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

分母がゼロの場合を考えてみましょう。

TP + FN = 0：入力データに肯定的なケースがなかったことを意味します
TP + FP = 0：すべてのインスタンスが負と予測されたことを意味します

— アムロ
ソース

9

答えを拡張する：TP = 0（両方の場合）の場合、メソッドは真陽性をまったく発見しなかったため、リコールは1です。FPがある場合は精度は0、それ以外の場合は1です。

11

答えは「はい」です。未定義のエッジケースは、真陽性（TP）が0のときに発生します。これは、これがPとRの両方の分母にあるためです。この場合、

TPの100％が検出されたため、FN = 0の場合、リコール= 1
スプリアス結果がないため、FP = 0の場合は精度= 1

これは、@ mbqのコメントの再定式化です。

— ジョン・レーマン
ソース

3

私はさまざまな用語に精通しています。あなたが精度と呼ぶものは正の予測値（PPV）です。そして、あなたが呼んでいることを私は感度（Sens）と呼びます。：

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

感度（リコール）の場合、分母がゼロの場合（Amroが指摘しているように）、肯定的なケースはないため、分類は無意味です。（これにより、TPまたはFNがゼロになることはなくなり、感度が1または0に制限されます。これらのポイントは、それぞれROC曲線の右上隅と左下隅にあります-TPR = 1およびTPR = 0。）

ただし、PPVの制限には意味があります。すべてのケースが陰性と予測されるように、テストのカットオフを非常に高く（または低く）設定することができます。これはROC曲線の原点にあります。カットオフが原点に到達する直前のPPVの制限値は、原点の直前のROC曲線の最終セグメントを考慮することで推定できます。（ROC曲線はノイズが多いことで悪名高いため、これはモデル化する方が良いかもしれません。）

たとえば、100個の実際のポジティブと100個の実際のネガがあり、ROC曲線の最終セグメントがTPR = 0.08、FPR = 0.02から近づく場合、PPVの制限はPPR〜0.08 * 100 /（0.08 * 100 + 0.02 * 100 ）= 8/10 = 0.8つまり、真の陽性になる確率は80％です。

実際には、各サンプルはROC曲線上のセグメントで表されます-実際の負の場合は水平、実際の正の場合は垂直です。原点の直前の最後のセグメントで限界PPVを推定できますが、最後のサンプルが真陽性か、偽陽性（実際の陰性）か、または作成されたかによって、推定限界PPVが1、0、または0.5になります。等しいTPとFP。おそらくデータが双正規であると仮定して、モデリングアプローチの方が良いでしょう-一般的な仮定、例えば：http : //mdm.sagepub.com/content/8/3/197.short

— チラコレオ
ソース

1

それは、「アプローチ0」の意味に依存します。偽陽性と偽陰性の両方が真陽性よりも速い速度でゼロに近づく場合、両方の質問にイエスです。しかし、そうでなければ、必ずしもそうではありません。

— ロブ・ヒンドマン
ソース

私は本当に率がわかりません。正直に言うと、私のプログラムはゼロ除算でクラッシュし、そのケースをどうにかして処理する必要があるということだけがわかっています。

— ビョルンポレックス