タグ付けされた質問 「precision-recall」

機械学習は初めてです。現時点では、NLTKとpythonを使用して、ナイーブベイズ（NB）分類器を使用して、3つのクラスの小さなテキストをポジティブ、ネガティブ、またはニュートラルとして分類しています。 300,000のインスタンス（16,924のポジティブ7,477のネガと275,599のニュートラル）で構成されるデータセットを使用していくつかのテストを行った後、フィーチャの数を増やすと、精度は低下しますが、ポジティブおよびネガティブクラスの精度/リコールは増加することがわかりました。これは、NB分類器の通常の動作ですか？より多くの機能を使用する方が良いと言えますか？ 一部のデータ： Features: 50 Accuracy: 0.88199 F_Measure Class Neutral 0.938299 F_Measure Class Positive 0.195742 F_Measure Class Negative 0.065596 Features: 500 Accuracy: 0.822573 F_Measure Class Neutral 0.904684 F_Measure Class Positive 0.223353 F_Measure Class Negative 0.134942 前もって感謝します... 2011/11/26を編集 Naive Bayes分類器を使用して、3つの異なる機能選択戦略（MAXFREQ、FREQENT、MAXINFOGAIN）をテストしました。最初に、精度とクラスごとのF1メジャーを示します。 次に、トップ100およびトップ1000の機能でMAXINFOGAINを使用するときに、トレーニングセットを増分してトレインエラーとテストエラーをプロットしました。 したがって、FREQENTを使用すると最高の精度が得られますが、MAXINFOGAINを使用したものが最適な分類器であるように思えますが、これは正しいですか？上位100個の機能を使用する場合、バイアスがあり（テストエラーはトレーニングエラーに近い）、トレーニングサンプルを追加しても役に立ちません。これを改善するには、さらに機能が必要です。1000個の機能を使用すると、バイアスは減少しますが、エラーは増加します... さらに機能を追加する必要がありますか？私はこれをどう解釈するか本当にわかりません... 再度、感謝します...

15 machine-learning  classification  naive-bayes  precision-recall 

正確なリコール曲線を理解しようとしていますが、精度とリコールが何であるかは理解していますが、理解できないのは「ベースライン」値です。私はこのリンクを読んでいました https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ 「完全な分類子の精度-リコール曲線」に示されているように、ベースライン部分が理解できません。そして、どのように計算するのですか？選択したランダムなベースラインですか？たとえば、retweet,status_countetcなどの属性を持つtwitterデータがあり、Favoritedお気に入りの場合はクラスラベルは1、お気に入りでない場合は0で、単純なベイズを適用し、今度は正確なリコールカーブを描画したいのですが、この場合のベースラインの設定方法を教えてください？

15 r  machine-learning  classification  precision-recall 

精度は次のように定義されます。 p =真陽性/（真陽性+偽陽性） （真陽性+偽陽性）= 0の場合、精度の値は何ですか？未定義ですか？ リコールについての同じ質問： r =真陽性/（真陽性+偽陰性） この場合、（真陽性+偽陰性）= 0の場合の再現率の値は何ですか？ PSこの質問は質問とよく似ています。エッジのケースでの精度と再現率の正しい値は何ですか？。

15 precision-recall 

F1-scoreは、精度と再現率の調和平均です。リコールのy軸は、真の陽性率です（これもリコールです）。それで、分類子はリコールは低いがAUCは非常に高い場合があります。 AUCとF1-scoreの違いは何ですか？

14 machine-learning  precision-recall  auc  accuracy 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、相互検証のトピックになるようにします。 6か月前に閉鎖されました。 ROCの下で面積を計算するパッケージを見つけるのは簡単ですが、精度-リコールカーブの下の面積を計算するパッケージはありますか？

14 r  precision-recall 

たとえば、F1と比較して、が適切な尺度ではない理由を説明する最良の方法は何ですか？Precision+RecallPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall 

私は歩行者検出と呼ばれるタスクを解決しようとしています、そして私は2つのカテゴリーのポジティブ-人々、ネガティブ-バックグラウンドでバイナリクラスシファーをトレーニングします。 データセットがあります： 陽性の数= 3752 負の数= 3800 私はtrain \ test split 80 \ 20％とRandomForestClassifier形式のscikit-learn をパラメーターで使用します： RandomForestClassifier(n_estimators=100, max_depth=50, n_jobs= -1) スコアを取得：95.896757％ トレーニングデータのテスト（完全に機能）： true positive: 3005 false positive: 0 false negative: 0 true negative: 3036 テストデータのテスト： true positive: 742 false positive: 57 false negative: 5 true negative: 707 私の質問は、偽陽性の数を減らす方法です（背景は人として分類されます）？また、なぜ偽陰性よりも偽陽性のエラーが多いのですか？ class_weightパラメータを使用しようとしましたが、ある時点でパフォーマンスが低下します（class_weight = {0：1,1：4}で確認できます）。 class_weight= …

12 classification  random-forest  unbalanced-classes  precision-recall  computer-vision 

2つのランキングアルゴリズムを比較したい。これらのアルゴリズムでは、クライアントは検索でいくつかの条件を指定します。クライアントの要件に従って、これらのアルゴリズムはデータベース内の各アイテムにスコアを割り当て、最高のスコアを持つアイテムを取得する必要があります。 私はこのサイトで私の質問に関連するさまざまなトピックを読み、ネットを検索しました。私の検索によると、ランキングアルゴリズムを比較するためのいくつかの指標について説明する最も関連性の高い記事は次のとおりです：Brian McFeeおよびGert RG Lanckriet、Metric Learning to Rank、ICML 2010（https://bmcfee.github.io/papers/mlr .pdf）。prec @ k、MAP、MRR、およびNDCGは、使用するのに適したメトリックスですが、問題があります。 私のアルゴリズムは結果を並べ替えるので、結果リストの最初の項目は最高のスコアを持つ最高のものであり、2番目の結果は2番目に上位のスコアになります。検索アルゴリズムを制限して、たとえば5つの最高の結果を見つけます。結果は、上位5項目です。したがって、精度は1になります。検索を制限して最良の結果を見つけると、最良の結果が検出されます。繰り返しになりますが、精度は1になりますが、問題は、この結果を見る人には受け入れられないことです。 私に何ができる？これらのアルゴリズムを比較して、一方が他方よりも優れていることを示すにはどうすればよいですか？

12 machine-learning  precision-recall  average-precision 

コンテンツベースの画像検索システムを作成するデータマイニングの割り当てがあります。5匹の動物の画像が20枚あります。つまり、合計100枚の画像になります。 私のシステムは、最も関連性の高い10個の画像を入力画像に返します。次に、Precision-Recall曲線を使用してシステムのパフォーマンスを評価する必要があります。しかし、私はプレシジョンリコール曲線の概念を理解していません。私のシステムがゴリラ画像に対して10個の画像を返すとしましょう。ただし、ゴリラは4つだけです。返される他の6つの画像は他の動物のものです。したがって、 精度は4/10 = 0.4（関連性が返される）/（すべて返される） 再現率は4/20 = 0.2（関連性が返される）/（すべての関連） つまり<0.2,0.4>、カーブではなくポイントしかありません。曲線（つまり、ポイントのセット）はどのように作成しますか？返される画像の数を変更する必要がありますか（これは私の場合10に固定されています）？

12 data-mining  matlab  precision-recall  curves  computer-vision 

精度と再現率の組み合わせにおける加重算術平均とは対照的に、調和平均を使用することの固有の値は何ですか（たとえば、Fメジャーを計算するため）。加重算術平均が調和平均の役割を果たす可能性があると考えていますか、それとも何か不足していますか？

12 machine-learning  monte-carlo  precision-recall  harmonic-mean 

ボリュームの類似性（https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient）と精度（https://en.wikipedia.org/wiki/Accuracy_and_precisionのダイス係数に遭遇しました）。 これら2つの対策は同じように思えます。何かご意見は？

12 descriptive-statistics  roc  accuracy  precision-recall  auc 

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 精度と再現率を計算するにはどうすればよいですか。F1スコアの計算が簡単になります。通常の混同行列は2 x 2の次元です。しかし、それが3 x 3になると、精度の計算方法と再現率がわかりません。

12 machine-learning  precision-recall 

精密再現曲線の「最適な」操作点を決定する標準的な方法はありますか？（つまり、精度と再現率の間の適切なトレードオフを提供する曲線上のポイントを決定します） ありがとう

11 machine-learning  precision-recall 

私は二値分類問題に取り組んでいますが、誤検知がないことがより重要です。かなり多くの偽陰性が問題ありません。たとえば、sklearnで一連の分類子を使用しましたが、精度と再現率のトレードオフを明示的に調整する機能はありません（かなり良い結果が得られますが、調整はできません）。 どの分類子が調整可能な精度/再現率を備えていますか？ランダムフォレストやAdaBoostなどの標準的な分類子の精度と再現率のトレードオフに影響を与える方法はありますか？

11 classification  precision-recall 

非常に不均衡なデータセット（9％の肯定的な結果）があるので、ROC曲線よりも精度-再現率曲線の方が適切であると判断しました。PR曲線下の面積の類似の要約測定値（興味がある場合は.49）を取得しましたが、それをどのように解釈するかわかりません。.8以上がROCに適したAUCであると聞きましたが、一般的なカットオフは、精度-再現率曲線のAUCと同じですか？

11 classification  precision-recall  auc