偽陽性率と真陽性率を示すこのチャートの名前とその生成方法は？

以下の画像は、偽陽性率と真陽性率の連続曲線を示しています。

ただし、すぐに得られないのは、これらのレートの計算方法です。メソッドがデータセットに適用される場合、特定のFPレートと特定のFNレートがあります。それは、各方法が曲線ではなく単一の点を持つべきだという意味ではないでしょうか？もちろん、メソッドを構成して複数の異なるポイントを生成する方法は複数ありますが、この連続したレートがどのように発生するか、またはどのように生成されるかは明確ではありません。

プロットはROC曲線であり、（False Positive Rate、True Positive Rate）ポイントは異なるしきい値に対して計算されます。一様な効用関数があると仮定すると、最適なしきい値は（0、1）に最も近い点のしきい値になります。

ROC曲線（=レシーバー動作特性曲線）を生成するには：

ロジスティック回帰などの確率的なバイナリ分類器があるとします。ROC曲線を提示する前に、混同マトリックスの概念を理解する必要があります。バイナリ予測を行うと、4種類のエラーが発生する可能性があります。

• クラスを実際に0にする必要がありますが、0を予測します。これはTrue Negativeと呼ばれます。つまり、クラスが負（0）であることを正しく予測します。たとえば、アンチウイルスは無害なファイルをウイルスとして検出しませんでした。
• クラスが実際に1である必要があるときに0を予測します。これはFalse Negativeと呼ばれます。つまり、クラスが負（0）であると誤って予測します。たとえば、ウイルス対策ソフトウェアがウイルスを検出できませんでした。
• クラスは実際には0である必要がありますが、1を予測します。これはFalse Positiveと呼ばれます。つまり、クラスが正であると誤って予測します（1）。たとえば、アンチウイルスは無害なファイルをウイルスと見なしました。
• クラスを実際に1にする必要がある一方で1を予測します。これはTrue Positiveと呼ばれます。つまり、クラスが正であると正しく予測します（1）。たとえば、ウイルス対策ソフトウェアがウイルスを正当に検出しました。

混同マトリックスを取得するために、モデルによって行われたすべての予測を調べ、これらの4種類のエラーがそれぞれ発生する回数をカウントします。

この混同マトリックスの例では、分類された50個のデータポイントのうち、45個が正しく分類され、5個が誤分類されています。

2つの異なるモデルを比較するには、複数のメトリックではなく単一のメトリックを使用する方が便利な場合が多いため、混同マトリックスから2つのメトリックを計算し、後で1つに結合します。

• 真の陽性率（TPR）、別名。として定義される感度、ヒット率、リコール$\frac{TP}{TP+FN}$
• 偽陽性率（FPR）、別名。fall-out、これはとして定義されます$\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

この図では、青い領域は受信者動作特性（AUROC）の曲線下の領域に対応しています。対角線の破線は、ランダムな予測変数のROC曲線を示しています。これは、AUROCが0.5です。ランダム予測子は、モデルが有用かどうかを確認するためのベースラインとして一般的に使用されます。

直接体験したい場合：

• Python：http : //scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB：http : //www.mathworks.com/help/stats/perfcurve.html

モーテンの答えは、タイトルの質問に正しく対応しています。実際、この数字はROC曲線です。これは、対応する真陽性率に対して一連の偽陽性率（FPR）をプロットすることによって生成されます。

ただし、投稿の本文で尋ねる質問には返信したいと思います。

メソッドがデータセットに適用される場合、特定のFPレートと特定のFNレートがあります。それは、各方法が曲線ではなく単一の点を持つべきだという意味ではないでしょうか？もちろん、メソッドを構成して複数の異なるポイントを生成する方法は複数ありますが、この連続したレートがどのように発生するか、またはどのように生成されるかは明確ではありません。

多くの機械学習方法には調整可能なパラメーターがあります。たとえば、ロジスティック回帰の出力は、クラスメンバーシップの予測確率です。あるしきい値を超える予測確率を持つすべてのポイントをあるクラスに分類し、残りを別のクラスに分類する決定ルールは、それぞれが異なるTPRおよびFPR統計を持つ柔軟な範囲の分類子を作成できます。同じことは、ツリーの投票を考慮しているランダムフォレスト、または超平面からの符号付き距離を考慮しているSVMの場合にも実行できます。

クロス検証を行ってサンプル外のパフォーマンスを推定する場合、一般的な方法は予測値（投票、確率、符号付き距離）を使用してTPRとFPRのシーケンスを生成することです。これは通常、各予測値でTPからFNまたはFPからFNに移動するポイントが1つだけであるため、通常はステップ関数のように見えます（つまり、サンプル外の予測値はすべて一意です）。この場合、TPRおよびFPRを計算するための連続したオプションがありますが、TPRおよびFPR関数はサンプル数が有限であるため連続していないため、結果の曲線は階段状の外観になります。 。

ウィキペディアから：

ROC曲線は、戦場で敵のオブジェクトを検出するために第二次世界大戦中に電気技術者とレーダー技術者によって最初に開発され、刺激の知覚検出を説明するためにすぐに心理学に導入されました。ROC分析は、それ以来、長年にわたって医学、放射線学、生体認証などの分野で使用されており、機械学習やデータマイニングの研究でますます使用されています。

ROCは、基準が変化したときの2つの動作特性（TPRとFPR）の比較であるため、相対動作特性曲線としても知られています。

2つの軸は、バイナリ分類器が動作するために発生しなければならないコストと考えることができます。理想的には、可能な限り高い真陽性率を得るために、可能な限り低い偽陽性率を招くことが望まれます。つまり、可能な限り多くの真陽性に対して、少数の偽陽性を呼び出すようにバイナリ分類器が必要です。

具体的には、バイオマーカーの量を測定することにより、特定の疾患が存在するかどうかを検出できる分類器を想像してください。バイオマーカーの値が0（不在）から1（飽和）の範囲にあると想像してください。病気の検出を最大化するレベルは何ですか？あるレベルを超えると、バイオマーカーは一部の人々を病気にかかっているが、病気にかかっていないと分類する場合があります。これらは誤検知です。もちろん、実際に病気にかかっているのに病気にかかっていると分類される人もいます。これらは真のポジティブです。

ROCは、考えられるすべてのしきい値を考慮に入れることにより、偽陽性の割合に対するすべての陽性の真陽性の割合を評価します。