ミクロ平均またはマクロ平均の評価尺度に基づいて決定する必要がありますか?


21

同じデータセットを使用して、異なるバイナリ分類アルゴリズムで10倍のクロス検証を実行し、マイクロおよびマクロの平均結果の両方を受け取りました。これはマルチラベル分類の問題であることに注意してください。

私の場合、真のネガと真のポジティブは等しく重み付けされています。つまり、真の陰性を正しく予測することは、真の陽性を正しく予測することと同様に重要です。

ミクロ平均測定値は、マクロ平均測定値よりも低くなっています。ニューラルネットワークとサポートベクターマシンの結果は次のとおりです。

ここに画像の説明を入力してください

また、同じデータセットに対して別のアルゴリズムを使用してパーセンテージ分割テストを実行しました。結果は次のとおりです。

ここに画像の説明を入力してください

パーセンテージ分割テストとマクロ平均結果を比較したいのですが、それは公平ですか?真の陽性と真の陰性が等しく重み付けされているため、マクロ平均の結果に偏りがあるとは思わないが、それでもリンゴとオレンジを比較するのと同じだろうか?

更新

コメントに基づいて、ミクロ平均とマクロ平均の計算方法を示します。

予測する144のラベル(フィーチャまたは属性と同じ)があります。精度、リコール、およびF-Measureは、ラベルごとに計算されます。

---------------------------------------------------
LABEL1 | LABEL2 | LABEL3 | LABEL4 | .. | LABEL144
---------------------------------------------------
   ?   |    ?   |    ?   |   ?    | .. |     ?
---------------------------------------------------

真の陽性(tp)、真の陰性(tn)、偽陽性(fp)、および偽陰性(fn)に基づいて計算されるバイナリ評価尺度B(tp、tn、fp、fn)を検討します。特定のメジャーのマクロおよびミクロ平均は、次のように計算できます。

ここに画像の説明を入力してください

ここに画像の説明を入力してください

これらの式を使用して、次のようにミクロおよびマクロの平均を計算できます。

ここに画像の説明を入力してください

ここに画像の説明を入力してください

そのため、マイクロアベレージ測定では、すべてのtp、fp、fn(各ラベル)が追加され、その後、新しいバイナリ評価が行われます。マクロ平均メジャーは、すべてのメジャー(Precision、Recall、またはF-Measure)を追加し、ラベルの数で除算します。これは、平均に似ています。

さて、問題はどちらを使用するかです。


どちらを使用するかを尋ねるとき、意図した用途は何ですか?2つの方法の選択、結果の要約、または他の何か
ショーンイースター

1
使用目的は、どのモデルが最も優れているかを把握し、そのモデルのパフォーマンスについて何かを伝えることです。Forman、George、およびMartin Scholzによると、Micro測定の方が優れていることがわかりました。「交差検証研究におけるリンゴとリンゴ:分類器のパフォーマンス測定における落とし穴」ACM SIGKDD Explorations Newsletter 12.1(2010):49-57。
ケンチ

@Kenci、私はあなたがあなた自身の質問への返信としてそれを投稿し、正しい答えであることを確認するべきだと信じています。参照いただきありがとうございます!
fnl

回答:


27

すべてのラベルのサイズがほぼ等しい(インスタンスの数がほぼ同じ)と思われる場合は、anyを使用します。

他のインスタンスよりも多くのインスタンスがあるラベルがあり、最も人口の多いものにメトリックをバイアスする場合は、micromediaを使用します。

他のインスタンスよりも多くのインスタンスを持つラベルがあると思われ、最も人口の少ないインスタンスにメトリックをバイアスしたい場合(または、少なくとも最も人口の多いインスタンスにバイアスをかけたくない場合)、macromediaを使用します。

場合micromediaの結果が有意に低かっMacromediaの1以上である、それはあなたの小さなラベルがおそらく正しく分類されているのに対し、あなたは、最も人口のラベルには、いくつかの総誤分類を有することを意味します。場合はマクロメディアの結果はmicromediaのものよりも著しく低い、それはあなたの大きいものは、おそらく正しく分類されているのに対し、あなたの小さなラベルが悪い、分類されていることを意味します。

どうすればよいかわからない場合は、ミクロ平均とマクロ平均の両方で比較を続けてください:)

これはこの件に関する良い論文です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.