タグ付けされた質問 「accuracy」

これは、ここで間接的に複数回尋ねられた一般的な質問ですが、信頼できる答えは1つありません。参照のためにこれに対する詳細な答えを持っていることは素晴らしいことです。 すべての分類の中で正しい分類の割合である精度は、非常に単純で非常に「直感的な」尺度ですが、不均衡なデータには不十分な尺度になる場合があります。なぜ私たちの直感がここで私たちを誤った方向に導き、この測定に他の問題がありますか？

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

これらの用語を502847894789回見たにもかかわらず、私は一生、感度、特異性、精度、正確性、想起の違いを思い出せません。それらは非常に単純な概念ですが、名前は私には非常に直感的ではないので、私はそれらをお互いに混乱させ続けています。これらの概念について考えて、名前が意味を持ち始めるための良い方法は何ですか？ 別の言い方をすれば、他の名前とは対照的に、なぜこれらの概念のためにこれらの名前が選ばれたのですか？

49 terminology  accuracy  sensitivity-specificity 

私はデータマイニングが初めてであり、非常に不均衡なデータセットに対してデシジョンツリーをトレーニングしようとしています。ただし、予測精度が低いという問題があります。 データはコースを学習している学生で構成され、クラス変数はコースのステータスであり、2つの値（撤回済みまたは現在）があります。 年齢 人種 性別 コース ... コース状況 データセットには、撤回されたよりも多くの現在のインスタンスがあります。撤回されたインスタンスは、合計インスタンスの2％のみを占めます。 人が将来撤退する確率を予測できるモデルを構築したいと考えています。ただし、トレーニングデータに対してモデルをテストする場合、モデルの精度はひどいです。 データが1つまたは2つのクラスに支配されているディシジョンツリーでも同様の問題が発生しました。 この問題を解決し、より正確な分類器を構築するには、どのアプローチを使用できますか？

43 classification  cart  unbalanced-classes  accuracy 

意思決定ツリーの精度は100％です。何が間違っていますか？ これは私のコードです： import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train = x[0:2635] x_test = x[0:658] y_train = y[0:2635] y_test = y[0:658] from sklearn.tree import DecisionTreeClassifier tree = …

38 machine-learning  python  cart  accuracy 

平均絶対誤差率（MAPEは）、時系列や他の予測のための共通の精度や誤差尺度であり、 MAPE = 100n∑t = 1n| At− Ft|At％、メイプ=100n∑t=1n|At−Ft|At％、 \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, ここで、は実績であり、AtAtA_t対応する予測または予測です。FtFtF_t MAPEはパーセンテージであるため、シリーズ間で簡単に比較でき、人々はパーセンテージを簡単に理解して解釈できます。 ただし、MAPEには欠点があると聞きました。私はMAPEまたはMSE（のようないくつかの代替使用するかどうかについての情報に基づいた意思決定することができますので、私はより良いこれらの欠点を理解したいと思いMSE）、MAE（メイ）またはMASE（間瀬を）。

29 accuracy  mape 

モデルのトレーニングデータの精度は100％、テストデータの精度は70％と仮定します。このモデルについて次の議論は真実ですか？ これが過剰適合モデルであることは明らかです。オーバーフィッティングを減らすことで、テストの精度を高めることができます。しかし、このモデルはテストデータに対して許容可能な精度を持っているため、依然として有用なモデルである可能性があります。

25 model  accuracy  overfitting 

F1スコア、Diceスコア、およびIoU（結合の交差点）の違いについて混乱しました。ここまでで、F1とDiceは同じものを意味することがわかりました（右？）。IoUは他の2つと非常によく似た式を持っています。 F1 /ダイス：2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard：TPTP+ FP+ FNTPTP+FP+FN\frac{TP}{TP+FP+FN} F1が真陽性をより高く重み付けすることを除いて、実用的な違いや注目に値するその他のものはありますか？一方を使用して他方を使用しない状況はありますか？

24 terminology  accuracy  precision-recall 

平均絶対誤差（MASE）は、Koehler＆Hyndman（2006）によって提案された予測精度の尺度です。 MA SE= MA EMA Ei n − s a m p l e 、nは私のV EMASE=MAEMAE私n−sample、na私veMASE=\frac{MAE}{MAE_{in-sample, \, naive}} ここで、は実際の予測によって生成される平均絶対誤差です。 一方、は、サンプル内データで計算された単純な予測（統合された時系列の変化なし予測など）によって生成された平均絶対誤差です。M A E i n − s a m p l e 、MA EMAEMAE I（1）MA Ei n − s a m p l e 、nは私のV EMAE私n−sample、na私veMAE_{in-sample, \, naive}私（1 ）私（1）I(1) （正確な定義と式については、Koehler＆Hyndman（2006）の論文をご覧ください。） MA …

22 time-series  forecasting  accuracy  mase 

まず、彼は結果の確率を与えます。そのため、たとえば、米国の選挙に対する彼の予測は、現在クリントンが82％対トランプが18％です。 今、トランプが勝ったとしても、彼が勝ったはずの時間の18％だけではなかったことをどうやって知るのですか？ もう1つの問題は、彼の確率が時間とともに変化することです。7月31日、トランプとクリントンの間はほぼ50対50でした。 私の質問は、彼は同じ結果で同じ将来のイベントに対して毎日異なる確率を持っていることを考えると、その日まで利用可能な情報に基づいて予測を行った毎日の正確さをどのように測定できますか？

19 forecasting  prediction  validation  accuracy  scoring-rules 

K = 10倍でK-fold交差検証を行うと仮定します。フォールドごとに1つの混同マトリックスがあります。結果を報告するとき、平均混同マトリックスを計算するべきですか、それとも単に混同マトリックスを合計する必要がありますか？

18 machine-learning  cross-validation  accuracy 

診断システムのROC曲線を作成しました。曲線の下の面積は、AUC = 0.89とノンパラメトリックに推定されました。最適なしきい値設定（ポイント（0、1）に最も近いポイント）で精度を計算しようとすると、診断システムの精度は0.8になりました。これはAUCよりも低い値です。最適なしきい値とはかけ離れた別のしきい値設定で精度を確認すると、精度は0.92になりました。最適なしきい値設定での診断システムの精度を、別のしきい値での精度よりも低く、曲線の下の領域よりも低くすることは可能ですか？添付の写真をご覧ください。

16 roc  reliability  accuracy  auc 

単純なニューラルネットワークバイナリ分類器のトレーニング中に、クロスエントロピーを使用して高い損失値を取得します。それにもかかわらず、検証セットの精度の値は非常に良好です。何か意味がありますか？損失と精度の間に厳密な相関関係はありませんか？ これらの値のトレーニングと検証については、0.4011-acc：0.8224-val_loss：0.4577-val_acc：0.7826です。これはNNを実装する最初の試みであり、機械学習にアプローチしたばかりなので、これらの結果を適切に評価することはできません。

15 neural-networks  accuracy 

40ページの「ダミーの生物統計」の本で私は読んだ： 標準誤差（SEと略記）は、推定値または測定値の精度を示す1つの方法です。 そして 信頼区間は、何かの推定または測定の精度を示す別の方法を提供します。 しかし、測定の正確さを示す方法は何も書かれていません。 質問：何かの測定がどれほど正確であるかを示す方法は？そのためにどの方法が使用されますか？ テストの精度と精度と混同しないでください：https : //en.wikipedia.org/wiki/Accuracy_and_precision#In_binary_classification

15 confidence-interval  standard-error  measurement-error  accuracy 

F1-scoreは、精度と再現率の調和平均です。リコールのy軸は、真の陽性率です（これもリコールです）。それで、分類子はリコールは低いがAUCは非常に高い場合があります。 AUCとF1-scoreの違いは何ですか？

14 machine-learning  precision-recall  auc  accuracy 

これが非常に明白な質問であればおApびしますが、私はさまざまな投稿を読んでおり、良い確認を見つけることができないようです。分類の場合、分類器の精度= 1-テストエラー率ですか？精度はですが、私の質問は、精度とテストエラー率がどの程度正確に関連しているかです。 TP+ TNP+ NTP+TNP+N\frac{TP+TN}{P+N}

14 classification  terminology  accuracy