リコールよりも精度が重要になるのはいつですか?


16

精度が重要な例を挙げたり、リコールが重要な例を挙げたりできますか?


f1-scoreは行く方法です、私の友人
ネオアレス

2つの間でより重要なものよりも、一方を他方に対して最大化する場合を尋ねる必要があります(これは、必ずしも他の「重要性が低い」とは限りません)。
紳士

回答:


26
  • まれながんデータのモデリングでは、偽陰性を説明できないものはすべて犯罪です。リコールは、精度よりも優れた尺度です。
  • YouTubeの推奨事項については、偽陰性の心配はあまりありません。ここでは精度が優れています。

1
@fateh主な違いはFP対FNです。YouTubeの推奨事項はFNに重点を置いていませんが、病院の臨床上の決定が必要です。
HelloWorld

11

リコールがより重要な場合、私はあなたに私の本当のケースを与えることができます:

毎週数千人の無料の顧客が当社のウェブサイトに登録しています。コールセンターチームはそれらすべてに電話をかけたいと思っていますが、それは不可能なので、彼らは買い手になる可能性が高い人を選択するように頼みます(高温とは、私たちがそれらを参照する方法です)。私たちは購入しない人を呼び出すことを気にしません(したがって、精度は重要ではありません)が、私たちにとっては、高温のすべての人が常に私の選択にあるため、購入せずに行かないことは非常に重要です。つまり、精度が地獄に落ちても、私のモデルには高い再現率が必要です。

お役に立てばと思います!ミゲル。


6

状況によっては、リコールは精度よりも重要な場合があります(またはその逆)が、より解釈可能な評価を得るには両方が必要です。

たとえば、@ SmallChessが指摘しているように、医学界では、偽陰性は通常、予備診断の偽陽性よりも悲惨です。したがって、リコールはより重要な測定であると考えるかもしれません。ただし、100%のリコールがあっても役に立たないモデルがある可能性があります。モデルが常に肯定的な予測を出力する場合、100%のリコールはありますが、まったく情報がありません。

これが、複数のメトリックを見る理由です。


6

より重要なのは、単に各エラーのコストによって異なります。

精度には直接コストが関係する傾向があります。偽陽性が多いほど、真陽性あたりのコストが高くなります。コストが低い場合、精度はそれほど重要ではありません。たとえば、100万の電子メールアドレスがあり、それらすべてに電子メールを送信するのに10ドルの費用がかかる場合、応答する可能性が最も高い人を特定するのではなく、すべての人にスパムを送信するのは時間の無駄です。

リコールは、他方では、機会費用を伴う傾向があります。偽陰性が発生するたびに機会を放棄しています。したがって、追加の正しい識別の限界値が小さい場合、たとえば複数の機会があり、それらの間にほとんど違いがなく、限られた数しか追跡できない場合、想起は最も重要ではありません。たとえば、リンゴを購入するとします。店には100個のリンゴがあり、そのうち10個は不良です。良いりんごの80%を欠く悪いりんごを識別する方法がある場合、約18個の良いりんごを識別します。通常、20%のリコールはひどいでしょうが、リンゴが5個だけ必要な場合は、他の72個のリンゴをなくしても問題はありません。

したがって、リコールは次の場合に最も重要です。

-機会の数は少ない(良いリンゴが10個しかなかった場合、リコール率が20%の良いリンゴを5個見つけることはまずありません)
-機会の間に大きな違いがあります(いくつかのリンゴが他のものより優れている場合) 、20%のリコール率で5個の良いリンゴを手に入れることができますが、必ずしも最高のリンゴになるとは限りません)
または
-多数の機会であっても、機会の限界利益は高いままです。たとえば、ほとんどの買い物客は18個以上の良いリンゴから多くの利益を得られませんが、は18個以上のリンゴを販売したいと考えています。

したがって、演技のコストが高い場合、想起よりも精度が重要になりますが、演技しないコストは低くなります。これは、候補者ごとに行動する/行動しないコストであり、「アクションをまったく持たないコスト」と「アクションをまったく持たないコスト」ではないことに注意してください。リンゴの例では、特定のリンゴを購入する/購入しないコストであり、一部のリンゴを購入するコスト対リンゴを購入しないコストです。他のリンゴがたくさんあるので、特定のリンゴを買わないコストは低いです。悪いリンゴを買うコストは高いが、特定の良いリンゴを渡すコストは低いので、その例では精度がより重要です。別の例として、同様の候補者が多数いる場合の採用があります。

演技のコストが低い場合、想起は精度よりも重要ですが、候補者を無視する機会コストは高くなります。先に挙げたスパムの例があります(電子メールアドレスを逃すコストは高くありませんが、応答しない人に電子メールを送信するコストはさらに低くなります)、および別の例は、インフルエンザの予防接種:インフルエンザの予防接種は、それを必要としない人に与えてください。数ドルかかるので、それを必要とする人には与えないでください。このため、ヘルスプランは通常、正確さを完全に無視して、インフルエンザの予防接種を全員に提供します。


2

アキュムレーションは、リコールよりも正確さの重要性を説明するより多くの例をどのように思いつくことができるか、またその逆について、素晴らしい答えを持っています。

他の回答のほとんどは、リコールの重要性を説得力のあるケースにしているので、精度の重要性について例を挙げたいと思いました。これは完全に仮説的な例ですが、それは事実です。

特定の日が天気に基づいて衛星を打ち上げるのに適した日かどうかを予測するための機械学習モデルが作成されたとしましょう。

  • モデルが衛星を打ち上げる良い日が悪いと誤って予測した場合(偽陰性)、打ち上げる機会を逃します。これはそれほど大したことではありません。

  • ただし、モデルが良い日であると予測しているが、実際に衛星を打ち上げるのが悪い日である場合(誤検知)、衛星が破壊される可能性があり、損害の費用は数十億になります。

これは、リコールよりも精度が重要な場合です。


1

私は自分でこのニーモニックを思いつくまで、精度とリコールの違いを思い出すのに苦労しました。

reCALLはCALLセンターに対するものであるため、Precisionは妊娠検査に対するものです。

妊娠検査では、検査メーカーは、陽性結果が女性が本当に妊娠していることを確認する必要があります。人々は突然結婚するか、家を買うことで陽性検査に反応するかもしれません(多くの消費者が偽陽性になり、理由もなく莫大な費用を被った場合、検査メーカーは顧客を失います)。一度偽陰性の妊娠検査を受けたので、妊娠していることが判明するまでにさらに数週間かかりました...真実は最終的には両親になりました。(意図したパン。)

ここで、保険金請求のコールセンターを想像してください。ほとんどの不正請求は、週末に詐欺師が協力者と連絡を取り、彼らの作り話(「自動車が盗まれたとしましょう」)を作成した後、月曜日に電話されます。保険会社が月曜日に行うのに最適なことは何ですか?たぶん、彼らは精度よりもリコールを好むように調整すべきです。詐欺の一部を逃して、支払われるべきではなかった現金を支払うよりも、さらなる調査のために、より多くの申し立てを肯定的(詐欺の可能性が高い)としてフラグを立てる方がはるかに優れています。偽陽性(追加の精査のために詐欺の可能性があるとしてフラグが立てられますが、顧客の損失は本物でした)は、経験豊富な調整者を割り当てることで解消できる可能性があります。詐欺師 '

F1は素晴らしいですが、テスト/予測がどのように使用されるかを理解することは非常に重要です。


1

メールスパムの検出:これは、Recallよりも精度が重要な例の1つです。

簡単な要約

  • 精度:これは、ポジティブな何かを予測したとき、実際にポジティブだった回数を示します。一方、

  • 思い出してください:これは、実際の正のデータから、あなたが正しく予測した回数を伝えます。

上記で述べたように、スパム電子メールの検出の場合、スパム電子メール(陽性の場合)が検出されずにスパムフォルダーに移動しなくても問題ありません、電子メールが良好(陰性)の場合、スパムフォルダ。すなわち、精度はより重要です。(モデルが何かポジティブなもの(つまり、スパム)を予測する場合、それはスパムであることが望ましい。そうでない場合、重要なメールを見逃す可能性があります)。

それが明確になることを願っています。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.