Fメジャーは正確さと同義ですか?


10

fメジャー(精度と再現率に基づく)は、分類子の正確さの見積もりであることを理解しています。また、不均衡なデータセットがある場合、fメジャーは精度よりも優先されます。簡単な質問があります(これはテクノロジーよりも正しい用語を使用することについてです)。不均衡なデータセットがあり、実験でfメジャーを使用しています。機械学習/データマイニング会議用ではない論文を書こうとしています。したがって、このコンテキストでは、fメジャーを正確に同義で参照できますか。たとえば、f値が0.82の場合、分類子は82%の正確な予測を達成したと言えますか?


使用する場合は、fメジャーを導入することをお勧めします。2つを置き換えることは私の観点では正しくありません。あなたの場合、精度が99%の場合、fメジャーが何であれ、99%の正確な予測を達成し、読者をエラーに導く可能性があります。
AdrienNK、2014年

@AdrienNK:テストケースの相対頻度が実際のアプリケーションの状況と同じでない限り、99%の精度は99%の正しい予測を意味しません。
cbeleitesはSXに不満2014

@cbeleites正解ですが、多くの場合、テストケースは同じディストリビューションから発行されます(たぶん、そうではなかったデータを処理する必要がなかったため、それは私が持っている偏った見解です)
AdrienNK

@AdrienNK:私は医療診断に取り組んでいる分析化学者です。問題の疾患の有病率は、異なる患者の亜集団間で約桁違います。例えば、この記事の後半で異なる陽性的中率の議論を参照してください:nature.com/news/2011/110323/full/471428a.html
SXと不幸cbeleites

2
それは魅力的な読み物でした。私の注意を喚起してくれてありがとう。
AdrienNK、2014年

回答:


13

まず第一に、私は「正確さ」が時々少し誤解を招くのを見つけます。

システムまたはメソッド(私は分析化学者です)を評価するための一般的な精度という用語は、予測の偏りを指します。

ご存知のように、分類子のパフォーマンスのさまざまな側面に答えるさまざまなパフォーマンス指標がたくさんあります。それらの1つは、偶然にも精度と呼ばれています。あなたの論文が機械学習/分類の読者を対象としていない場合は、この区別を明確にすることをお勧めします。このより具体的な正確さの意味についても、クラスの不均衡を処理するいくつかの方法が発生する可能性があるため、私は正確度と呼ばれるものを非常に明確にします。通常、クラスの不均衡は無視され、よく知られた計算につながります。ただし、感度と特異度の平均を使用することもできます。これは、平均を重み付けしてクラスの不均衡を制御することになります。TP+TNall cases

F-スコアは、しばしば精度と再現率の調和平均(又は陽性予測値及び感度)として導入されます。あなたの質問については、これをもう少し詳しく説明して簡略化すると役立つと思います:

F=2precisionrecallprecision+recall=2TPall PTPallTTPall P+TPallT=2TP2all PallTTPall Tall PallT+TPall Pall PallT=2 TP2TPall T+TPall P=2 TPall T+all P

最後の表現は、テストケースの特定のグループとして考えることができるものの一部ではありません。特に、TRUEとPOSITIVEのケースの間には(大きな)重複が予想されます。これは、Fスコアをパーセンテージとして表現することを妨げます。実際、Fスコアにはそのような解釈がないことを読者に警告したいと思います。


より具体的には、これはメジャーです。Fスコアは別のパラメーターで一般化できますF1
qwr

0

素早い回答:

いいえ、F-measure数式はTN因子で構成されていないため、検索の問題(doc)で役立ちます。

したがって、それは(だF-measure)不均衡データセットを評価するための正しいアプローチまたは検索問題の場合には代わりにaccuracy及びROC

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.