タグ付けされた質問 「auc」

高い値と低い値を検索しましたが、予測に関連する場合のように、AUCが何を意味するのかを知ることができませんでした。

228 classification  prediction  roc  auc  abbreviation 

バイナリロジスティック回帰モデルの曲線下面積（AUC）またはc統計を手動で計算することに興味があります。 たとえば、検証データセットでは、従属変数の真の値である保持（1 =保持、0 =保持されない）、およびモデルである回帰分析により生成された各観測の予測保持ステータスがありますトレーニングセットを使用して構築されます（これは0〜1の範囲です）。 私の最初の考えは、モデル分類の「正しい」数を特定し、「正しい」観測値の数を総観測値の数で単純に割ってc統計量を計算することでした。「正しい」とは、観測の真の保持ステータス= 1であり、予測される保持ステータスが> 0.5である場合、それは「正しい」分類です。さらに、観測の真の保持ステータス= 0で、予測保持ステータスが0.5未満の場合、それも「正しい」分類です。予測値= 0.5のときに「タイ」が発生すると想定していますが、検証データセットではその現象は発生しません。一方、「誤った」分類は、観測の真の保持ステータス= 1であり、予測される保持ステータスが0未満の場合です。5または結果の真の保持ステータス= 0であり、予測保持ステータスが> 0.5である場合。私はTP、FP、FN、TNを知っていますが、この情報を与えられたc統計を計算する方法を知りません。

78 regression  logistic  classification  roc  auc 

赤池情報量基準（AIC）とc統計量（ROC曲線の下の面積）は、ロジスティック回帰に適合するモデルの2つの尺度です。2つの測定の結果に一貫性がない場合、何が起こっているのかを説明するのに苦労しています。彼らはモデル適合のわずかに異なる側面を測定していると思いますが、それらの特定の側面は何ですか？ 3つのロジスティック回帰モデルがあります。モデルM0にはいくつかの標準共変量があります。モデルM1はX1をM0に追加します。モデルM2は、X2をM0に追加します（したがって、M1とM2はネストされません）。 M0からM1とM2の両方へのAICの差は約15であり、X1とX2の両方がモデルの適合を改善し、ほぼ同じ量だけ改善することを示します。 c統計量は次のとおりです。M0、0.70。M1、0.73; M2 0.72。M0からM1へのc統計量の違いは重要ですが（DeLong et al 1988の方法）、M0からM2への違いは重要ではなく、X1はモデルの適合を改善しますが、X2はそうではありません。 X1は定期的に収集されません。X2は定期的に収集されることになっていますが、約40％のケースで欠落しています。X1の収集を開始するか、X2の収集を改善するか、両方の変数を削除するかを決定します。 AICから、変数はモデルに対して同様の改善を行うと結論付けます。完全に新しい変数（X1）の収集を開始するよりも、おそらくX2の収集を改善する方が簡単なので、X2収集の改善を目指します。しかし、c統計から、X1はモデルを改善し、X2は改善しないため、X2を忘れてX1の収集を開始する必要があります。 推奨事項は、どの統計に注目するかに依存するため、測定対象の違いを明確に理解する必要があります。 どんなアドバイスも歓迎します。

29 logistic  roc  aic  auc 

私は2つの分類器を持っています A：ナイーブベイジアンネットワーク B：ツリー（単一接続）ベイジアンネットワーク 精度およびその他の尺度の点では、AはBよりも比較的パフォーマンスが劣ります。ただし、RパッケージROCRおよびAUCを使用してROC分析を実行すると、AのAUCがBのAUCよりも高いことがわかります。これはなぜですかハプニング？ 真陽性（tp）、偽陽性（fp）、偽陰性（fn）、真陰性（tn）、感度（sen）、特異性（spec）、陽性予測値（ppv）、陰性予測値（npv）、およびAおよびBの精度（acc）は次のとおりです。 +------+---------+---------+ | | A | B | +------+---------+---------+ | tp | 3601 | 769 | | fp | 0 | 0 | | fn | 6569 | 5918 | | tn | 15655 | 19138 | | sens | 0.35408 | 0.11500 | | spec …

29 machine-learning  classification  roc  auc  bayesian-network 

平均精度（AP）は、精度-リコール曲線（PR曲線のAUC）の下の面積ですか？ 編集： PR AUCとAPの違いに関するコメントを次に示します。 AUCは、精度の台形補間によって取得されます。代替の通常ほぼ同等のメトリックは、info.apとして返されるAverage Precision（AP）です。これは、新しい陽性サンプルが呼び出されるたびに取得される精度の平均です。精度が定数セグメントによって補間される場合、AUCと同じであり、TRECが最も頻繁に使用する定義です。 http://www.vlfeat.org/overview/plots-rank.html また、AUC及びaverage_precision_score結果は、学習scikitに同じではありません。これは奇妙なことです。なぜなら、ドキュメントには次のようなものがあるからです。 予測スコアから平均精度（AP）を計算するこのスコアは、精度-想起曲線の下の領域に対応します。 コードは次のとおりです。 # Compute Precision-Recall and plot curve precision, recall, thresholds = precision_recall_curve(y_test, clf.predict_proba(X_test)[:,1]) area = auc(recall, precision) print "Area Under PR Curve(AP): %0.2f" % area #should be same as AP? print 'AP', average_precision_score(y_test, y_pred, average='weighted') print 'AP', average_precision_score(y_test, y_pred, average='macro') print …

27 scikit-learn  precision-recall  auc  average-precision 

議論：バイナリ分類のroc曲線を生成する方法混乱は、「バイナリ分類子」（2つのクラスを分離する任意の分類子）がヤンの「離散分類子」（ SVMのような離散出力0/1）およびANNやBayes分類器のような連続出力ではない...など。したがって、議論はROCが「バイナリ連続分類器」に対してどのようにプロットされるかについてであり、答えは出力がソートされることです出力は連続的であり、ROC曲線上の各ポイントを生成するためにしきい値が使用されるため、スコアによって。 私の質問は、SVMなどの「バイナリ離散分類器」に関するもので、出力値は0または1です。したがって、ROCは曲線ではなく1つのポイントのみを生成します。なぜそれを曲線と呼ぶのか混乱しています！まだしきい値について話せますか？特にSVMでしきい値を使用するにはどうすればよいですか？AUCを計算するにはどうすればよいですか？

25 cross-validation  roc  auc 

以下の画像は、偽陽性率と真陽性率の連続曲線を示しています。 ただし、すぐに得られないのは、これらのレートの計算方法です。メソッドがデータセットに適用される場合、特定のFPレートと特定のFNレートがあります。それは、各方法が曲線ではなく単一の点を持つべきだという意味ではないでしょうか？もちろん、メソッドを構成して複数の異なるポイントを生成する方法は複数ありますが、この連続したレートがどのように発生するか、またはどのように生成されるかは明確ではありません。

22 machine-learning  data-visualization  roc  auc 

前文 これは長い投稿です。これを読み直している場合は、質問の部分を修正したことに注意してください。ただし、背景資料は同じままです。さらに、私は問題の解決策を考案したと信じています。そのソリューションは、投稿の下部に表示されます。私の元のソリューション（この投稿から編集済み。そのソリューションの編集履歴を参照）が必然的に偏った推定値を生成したことを指摘してくれたCliffABに感謝します。 問題 機械学習の分類問題において、モデルのパフォーマンスを評価する1つの方法は、ROC曲線、またはROC曲線下面積（AUC）を比較することです。ただし、ROC曲線またはAUCの推定値の変動性についてはほとんど議論されていません。つまり、それらはデータから推定された統計であるため、いくつかのエラーが関連付けられています。これらの推定値の誤差を特徴付けることは、たとえば、ある分類器が実際に別の分類器より優れているかどうかを特徴付けるのに役立ちます。 この問題に対処するために、ROC曲線のベイズ分析と呼ばれる次のアプローチを開発しました。問題についての私の考えには、2つの重要な所見があります。 ROC曲線は、データから推定された量で構成されており、ベイズ分析に適しています。 ROC曲線は、真の陽性率を偽陽性率F P R （θ ）に対してプロットすることで構成されます。それぞれ、データから推定されます。θのT P RおよびF P R関数、クラスAをBからソートするために使用される決定しきい値（ランダムフォレストでのツリー投票、SVMでの超平面からの距離、ロジスティック回帰での予測確率など）を検討します。判定閾値の値が変化θは、別の見積もりを返しますT P RをTPR （θ ）TPR（θ）TPR(\theta)FPR(θ)FPR(θ）FPR(\theta)TPRTPRTPRFPRFPRFPRθθ\thetaθθ\thetaTPRTPRTPRおよび。さらに、T P R （θ ）は一連のベルヌーイ試行における成功確率の推定値であると考えることができます。実際、TPRはT Pとして定義されていますFPRFPRFPRTPR(θ)TPR(θ）TPR(\theta)また、用いた実験において二項成功確率のMLEであるTPの成功とTP+FN>0合計試験。TPTP+FN,TPTP+FN,\frac{TP}{TP+FN},TPTPTPTP+FN>0TP+FN>0TP+FN>0 とF P R （θ ）の出力をランダム変数と考えると、成功と失敗の数が正確にわかっている二項実験の成功確率を推定する問題に直面します（T P、F P、F N、およびT Nによって与えられ、これらはすべて固定されていると仮定します）。従来、単純にMLEを使用し、TPRとFPRがθの特定の値に対して固定されていると仮定しています。TPR(θ)TPR(θ)TPR(\theta)FPR(θ)FPR(θ)FPR(\theta)TPTPTPFPFPFPFNFNFNTNTNTNθθ\theta。しかし、ROC曲線のベイジアン分析では、ROC曲線の事後分布からサンプルを描画することで得られるROC曲線の事後シミュレーションを描画します。この問題の標準的なベイジアンモデルは、成功確率に優先するベータを持つ二項尤度です。成功確率の事後分布もベータなので、各、TPRおよびFPR値の事後分布があります。これにより、2番目の観察結果が得られます。θθ\theta ROC曲線は減少していません。そうつのいくつかの値をサンプリングいったん及びF P R （θに）、サンプリングポイントのROC空間「南東」の点をサンプリングするゼロ可能性があります。しかし、形状に制約のあるサンプリングは難しい問題です。TPR(θ)TPR(θ)TPR(\theta)FPR(θ)FPR(θ)FPR(\theta) ベイジアンアプローチを使用して、単一の推定セットから多数のAUCをシミュレートできます。たとえば、20個のシミュレーションは、元のデータと比較すると次のようになります。 この方法には多くの利点があります。たとえば、1つのモデルのAUCが別のモデルよりも大きい確率は、事後シミュレーションのAUCを比較することで直接推定できます。分散の推定値は、リサンプリング方法よりも安価なシミュレーションを介して取得できます。これらの推定値は、リサンプリング方法から生じる相関サンプルの問題を引き起こしません。 溶液 上記の2つに加えて、問題の性質について3番目と4番目の観察を行うことにより、この問題の解決策を開発しました。 および F P R （θ ）には、シミュレーションに適した周辺密度があります。TPR(θ)TPR(θ)TPR(\theta)FPR(θ)FPR(θ)FPR(\theta) 場合（副F P R …

21 machine-learning  bayesian  sampling  roc  auc 

確率を返す分類器を使用しています。AUCを計算するには、pROC Rパッケージを使用しています。分類器からの出力確率は次のとおりです。 probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsクラス「1」に属する確率を示します。示されているように、分類器はクラス「1」のすべてのサンプルを分類しました。 真のラベルベクトルは次のとおりです。 truel=c(1, 1, 1, 1, 1, 0, 0, 0, 0, 0) 示されているように、分類器は5つのサンプルを誤って分類しています。しかし、AUCは次のとおりです。 pROC::auc(truel, probs) Area under the curve: 1 なぜそれが起こるのか説明してもらえますか？

20 machine-learning  auc 

使用するパフォーマンス測定値、ROC曲線下の領域（FPRの関数としてのTPR）または精度-リコール曲線下の領域（リコールの関数としての精度）について疑問があります。 私のデータは不均衡です。つまり、負のインスタンスの数は正のインスタンスよりもはるかに多くなっています。 wekaの出力予測を使用しています。サンプルは次のとおりです。 inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 5,2:0,2:0,0.97 6,2:0,2:0,0.896 7,2:0,2:0,0.973 そして、私はpROCおよびROCR rライブラリーを使用しています。

16 r  machine-learning  roc  precision-recall  auc 

診断システムのROC曲線を作成しました。曲線の下の面積は、AUC = 0.89とノンパラメトリックに推定されました。最適なしきい値設定（ポイント（0、1）に最も近いポイント）で精度を計算しようとすると、診断システムの精度は0.8になりました。これはAUCよりも低い値です。最適なしきい値とはかけ離れた別のしきい値設定で精度を確認すると、精度は0.92になりました。最適なしきい値設定での診断システムの精度を、別のしきい値での精度よりも低く、曲線の下の領域よりも低くすることは可能ですか？添付の写真をご覧ください。

16 roc  reliability  accuracy  auc 

AUC-ROC値は0〜0.5の間ですか？モデルは0〜0.5の値を出力しますか？

16 roc  model-evaluation  auc 

caretR のパッケージを介して勾配ブースティングマシンアルゴリズムを試しています。 小さな大学入学データセットを使用して、次のコードを実行しました。 library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Rの「密度」関数を使用してカーネル密度の推定を試みています。結果を解釈してさまざまなデータセットを比較するのは、曲線下の面積が必ずしも1であるとは限らないため、多少困難です。確率密度関数（pdf） には、面積。カーネル密度の推定値がpdfを報告すると仮定しています。私が使用していますintegrate.xyからsfsmisc曲線下面積を推定します。ϕ(x)ϕ(x)\phi(x)∫∞−∞ϕ(x)dx=1∫−∞∞ϕ(x)dx=1\int_{-\infty}^\infty \phi(x) dx = 1 > # generate some data > xx<-rnorm(10000) > # get density > xy <- density(xx) > # plot it > plot(xy) > # load the library > library(sfsmisc) > integrate.xy(xy$x,xy$y) [1] 1.000978 > # fair enough, area close to 1 > # use another …

15 r  estimation  pdf  kernel-smoothing  auc 

F1-scoreは、精度と再現率の調和平均です。リコールのy軸は、真の陽性率です（これもリコールです）。それで、分類子はリコールは低いがAUCは非常に高い場合があります。 AUCとF1-scoreの違いは何ですか？

14 machine-learning  precision-recall  auc  accuracy