mAP @ [。5：.95]という表記はどういう意味ですか？

17

検出に関して、1つのオブジェクトの提案が正しいかどうかを判断する一般的な方法は、Intersection over Union（IoU、IU）です。これは、提案されたオブジェクトピクセルのセットと真のオブジェクトピクセルのセットを取り、以下を計算します。 $A$ $B$

I o U (A, B) = \frac{A \cap B}{A \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

一般的に、IoU> 0.5はヒットであったことを意味し、それ以外の場合は失敗でした。クラスごとに、

True Positive（）：クラスに対して提案が行われ、実際にクラスオブジェクトがありました $TP(c)$ $c$ $c$
偽陽性（）：提案は、クラスのために作られたが、クラスのオブジェクトがない $FP(c)$ $c$ $c$
クラス平均精度： $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

mAP（平均精度）= $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

より良い提案が必要な場合、IoUを0.5からより高い値（完全な1.0まで）に増やします。これは、mAP @ pで表すことができます。ここで、はIoUです。 $p \in (0, 1)$

しかし、mAP@[.5:.95]（このペーパーで見られるように）どういう意味ですか？

computer-vision

— マーティン・トーマ
ソース

私は疑う[.5:.95]部分がIOU値の範囲を指しますが、その範囲は、単一のマップに評価されるか私にはわからないだろう。

— ニールスレーター

@NeilSlaterしかし、なぜ上限が必要なのでしょうか？高いIoUは常に良いとは限りませんか？

— マーティントーマ

より高いIoUで一致を達成する方が優れていますが、モデルが完全一致をどの程度正確に説明するかを測定すると、mAP値は減少し、おそらく有用な測定とは見なされません。なぜ私は知らない範囲に含まれていないのですか？しかし、この場合mAPがどのように計算されるのかわかりません-それは例えばサンプルに基づいた単純な平均かもしれません。

— ニールスレーター

1

あり、このgithubのリポジトリ上の優れた説明とIOU、精度、リコール、平均精度とマップが。また、オブジェクト検出器を評価するコードもあります。それは確かに皆さんに役立ちます：https

— ラファエルパディージャ

10

mAP@[.5:.95]（で示される誰かmAP@[.5,.95]）は、0.5から0.95までの異なるIoUしきい値での平均mAP、ステップ0.05（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）を意味します。

0.5〜0.95（「0.5：0.95」と表記）のさまざまなIoUしきい値でmAPを平均する新しい評価指標に関連するMS COCOチャレンジがあります。[ 参照 ]

IoU∈[0.5：0.05：0.95]（COCOの標準メトリック、単にmAP @ [。5、.95]と表記）およびmAP@0.5（PASCAL VOCのメトリック）の平均mAPを評価します。[ 参照 ]

最終的な検出を評価するために、公式のCOCO API [20]を使用します。これは、[0.5：0.05：0.95]のIOUしきい値で平均したmAPを測定します。[ 参照 ]

ところで、cocoのソースコードは、何をしているかを正確に示しています。mAP@[.5:.95]

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

参照資料

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— アイスブレード
ソース

質問してもいいですか？たとえば、データセットに特定のクラスの3つのインスタンスがあり、モデルがそれらに対して0.1、0.6、および0.9のiouを返す場合、0.1の結果と平均iouの0.75と対応するmAPを破棄するということですか？

— アレックス

5

すでにIcybladeから回答があります。ただし、平均精度の式が間違っていることを指摘したいと思います。式はAverage Precisionではなく精度の定義です。オブジェクト検出の場合、APはここで定義されます。簡潔に言えば、精度/リコール曲線を要約しているため、精度だけでなくリコールも考慮されます（したがって、False Negativeもペナルティを受けます）。 $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
ソース

参照を見たものについては、平均精度（AP）の定義は11ページである

— ウェイロンフリン

3

APはすべてのカテゴリで平均化されます。従来、これは「平均平均精度」（mAP）と呼ばれています。APとmAP（および同様にARとmAR）を区別せず、コンテキストから違いが明確であると想定します。

http://cocodataset.org/#detections-eval

— マーク・ヤン
ソース

mAPはマルチクラスのAPの平均だと思いました。私はあなた/著者のカテゴリーの定義を知っているのが好きです。

— クラウドチョー