分母が0の場合の精度と再現率の正しい値は何ですか?


15

精度は次のように定義されます。

p =真陽性/(真陽性+偽陽性)

(真陽性+偽陽性)= 0の場合、精度の値は何ですか?未定義ですか?

リコールについての同じ質問:

r =真陽性/(真陽性+偽陰性)

この場合、(真陽性+偽陰性)= 0の場合の再現率の値は何ですか?

PSこの質問は質問とよく似ています。エッジのケースでの精度と再現率の正しい値は何ですか?


1
ふむ、それは複製でさえ答えられます。しかし、それを良い複製としましょう。

回答:


9

リンクされた以前の質問への回答はここにも適用されます。

(真陽性+偽陰性)= 0の場合、入力データに陽性ケースがないため、このケースの分析には情報がなく、陽性ケースの処理方法に関する結論もありません。N / Aまたは比率の結果と同様のものを使用して、ゼロによる除算エラーを回避する

(真陽性+偽陽性)= 0の場合、すべてのケースが陰性であると予測されています。これはROC曲線の一端です。この場合も、ゼロによる除算を回避しながら、この可能性を認識して報告する必要があります。


答えてくれてヘンリーに感謝します。私が正しく理解していれば、前者の場合は結果を認識して報告したくありませんが、後者の場合はそうします。あれは正しいですか?
Raffi Khatchadourian、2011年

はい:入力が陽性でない場合、精度は意味がありません。陽性が予測されない場合、テストが非常に陰性になるように設定されていることを報告します。
Henry

5

興味深い答えがここに提供されています:https : //github.com/dice-group/gerbil/wiki/Precision,-Recall-and-F1-measure

モジュールの作成者は、真陽性、偽陽性、偽陰性がすべて 0 であるかどうかに応じて、精度と再現率の異なるスコアを出力します。0である場合、結果は表面的には良いものです。

まれに、PrecisionまたはRecallの計算で0による除算が発生する場合があります。精度に関しては、アノテーターの回答内に結果がないため、trueとfalse positiveが0の場合に発生する可能性があります。これらの特殊なケースでは、真陽性、偽陽性、偽陰性がすべて0の場合、精度、再現率、およびF1メジャーは1になると定義しました。これは、ゴールドスタンダードにドキュメントが含まれていない場合に発生する可能性があります。アノテーションとアノテーターは(正しく)アノテーションを返しません。真陽性が0で、他の2つのカウンターの1つが0より大きい場合、精度、再現率、およびF1メジャーは0です。

このタイプのスコアリングが特別なケース以外の状況で役立つかどうかはわかりませんが、検討する価値はあります。


1

高いしきい値で分類子を評価するとき、再現率が0の場合、精度は(多くの場合実際には)1ではない可能性があります。通常はN / Aです。人々がP / R曲線をどのようにプロットするかについて、何かおかしいと思います。N / Aサンプルを回避することは、特異点サンプルを回避するという意味でのバイアスです。N / Aサンプルを無視して平均再現率に対する平均精度を計算しましたが、オブジェクト検出での浅いニューラルネットの0再現率に対して1から始まる分類子を取得しませんでした。これは、tp、fp、fnの数値で計算された曲線にも当てはまります。1つの画像で紙と鉛筆で確認するのは非常に簡単です。次に例を示します。単一の画像を出力する分類子があります。 1 1 0 0]、fn = [0 1 1 1 2 2]、fp = [3 3 2 1 1 0]。再現は、rec = [1 .5 .5 .5 0 0]、および精度= [。4 .25 1/3 .5 0 NaN]です。NaNまたはprecision(@ recall == 0)を1に置き換えるのがどうして意味があるのか​​わかりません。1は上限です。precision(@ recall == 0)を置き換える値ではありません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.