なぜfベータスコアはそのようにベータを定義するのですか？

10

これはFベータスコアです：

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

ウィキペディアの記事には、ます。 $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

思いつきませんでした。なぜをそのように定義するのですか？私は定義することができます次のように： $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

そして、どのように表示するのβ times as much importanceですか？

machine-learning precision-recall model-evaluation

— きちんと
ソース

2

「なぜベータではなくベータ二乗なのか」に対処する微分計算を含む、以下の新しい回答をチェックしてください。

— javadba 2018

18

まかせあなたが提供する最初の定義における重量となるあなたが設定したときに第二の体重は、二つの定義は等価です、これら二つの定義が唯一の表記の違いを表しているように、スコアの定義。私はそれが最初の方法（例えば、ウィキペディアのページ）と2番目の方法（例えば、ここ）の両方を定義しているのを見てきました。 $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

尺度は、精度と再現率の調和平均、すなわち精度の逆数の平均値の逆数とリコールの逆数を取ることによって得られます。 $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

代わりに、（1に等しい和である分母の重みを使用するリコールおよび精度のために）、我々はまだ1にまとめる代わり割り当て重みかもしれないが、用リコールに重量がある精度で重量として大倍（リコールおよび精度のために）。これにより、スコアの2番目の定義が得られます。 $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

ここでも、ここで代わりに使用した場合、最初の定義に到達したはずなので、2つの定義の違いは単なる表記です。 $\beta^2$ $\beta$

— ジョスリベ
ソース

1

なぜ、それらはに再現率ではなく精度項を乗算したのですか？

β

$\beta$

— アンワルビック2018年

1

「ベータではなくベータが2乗される理由」に対処する微分計算は、以下の新しい回答に含まれています。

— javadba 2018

@Anwarvic彼らはに逆想起を掛けた。を分解してで展開した後、項が残っています

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

5

F-βのスコアを定義した理由、正確にあなたが（つまりは、添付したい提供引用ですそれは添付することを意味し何のために特定の定義を与えられた精度としてリコールに多くの重要性など回）正確さよりもリコールのほうが重要です。 $\beta^{2}$ $\beta$ $\beta$

定式化につながる2つのメトリックの相対的な重要性を定義する特定の方法は、Information Retrieval（Van Rijsbergen、1979）にあります。 $\beta^{2}$

定義：ユーザーが精度と再現率を重視する相対的な重要性は、となる比です。ここで、は、精度と再現率に基づく有効性の尺度です。 $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

この存在の動機：

これを定量化することについて私が知っている最も簡単な方法は、ユーザーが精度の増加と同等の再現性の損失を交換する意思がある比を指定することです。 $P/R$

このリードことを確認する我々は加重調和平均のための一般式で開始することができる製剤ととに対してそれらの偏導関数計算及び。引用された出典では、（「有効性測定」）を使用していますが、これはあり、説明はとどちらを考慮しても同等です。 $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

ここで、導関数を互いに等しく設定すると、と比率間の関係に制限が課されます。倍精度を思い出すことを重視したい場合、^1の比率を考慮します。 $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

をこの比率として定義し、を再配置すると、観点から重み付けが行われ。 $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

私達は手に入れました：

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

あなたの質問の形を与えるためにどれを再配置することができます。

したがって、引用された定義を前提として、正確さを想起するために倍の重要度を付加したい場合は、公式を使用する必要があります。使用する場合、この解釈は成り立ちません。だけを使用する場合の同等で直感的ではない解釈は、正確さとして想起するために倍の重要度を付加したいということです。 $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

提案するようにスコアを定義することもできますが、この場合、説明した解釈がもはや成立しないか、精度と再現率のトレードオフを定量化するために他の定義を示唆していることに注意してください。

脚注：

$P/R$ は情報検索で使用されますが、これはタイプミスのようです。Fメジャーの真実（Saski、2007）を参照してください。

参照：

— 人
ソース

1

これは受け入れられる答えになるはずです。

— javadba 2018

3

何かをすばやく指摘する。

つまり、ベータ値が高くなるほど、精度が高くなります。

私は実際には逆だと思います-F-βスコアリングは高いほど良いので、分母を小さくしたいとします。したがって、βを小さくすると、精度スコアが高いためにモデルの処罰が少なくなります。βを大きくすると、精度が高いほどF-βスコアが高くなります。

F-βスコアを重み付けして精度を評価する場合、βは0 <β<1である必要があります。ここで、β-> 0は精度のみを評価します（分子は非常に小さくなり、分母の唯一の要素はリコールです。したがって、再現率が増加するとF-βスコアは減少します。

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— Hフロッジ
ソース

0

β^ 2が正確に乗算される理由は、Fスコアの定義方法にすぎません。つまり、ベータ値が高くなるほど、精度が高くなります。リコールを掛け合わせても機能する場合は、ベータ値が大きくなるほどリコールの価値が高くなることを意味します。

— マフムード
ソース

0

ベータ値が1より大きい場合は、Precisionと比較して、モデルがモデルのRecallにもっと注意を払うことを望んでいます。一方、1未満の値は、Precisionに重点を置きます。

— モヒト・シャルマ
ソース