Почему бета-оценка определяет бета как это?

10

Это бета-оценка F:

F_{β} знак равно (1 + β^{2}) \cdot \frac{п р е с я s я о N \cdot р е с a L L}{(β^{2} \cdot п р е с я s я о N) + р е с a L L}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

В статье Википедии говорится, что . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Я не понял идею. Зачем определять так? Могу ли я определить следующим образом: $\beta$ $F_\beta$

F_{β} знак равно (1 + β) \cdot \frac{п р е с я s я о N \cdot р е с a L L}{(β \cdot п р е с я s я о N) + р е с a L L}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

А как показать β times as much importance?

machine-learning precision-recall model-evaluation аккуратный
источник

2

Ознакомьтесь с более новым ответом ниже, который включает в себя дифференциальное исчисление, в котором говорится, «почему бета в квадрате, а не бета».

Джавадба

19

Позволить быть весом в первом определении вы предоставляете и веса во втором, два определения эквивалентны при установке , так что эти два определения представляют собой лишь обозначения различия в определение балла. Я видел, что он определил как первый путь (например, на странице википедии ), так и второй (например, здесь ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

мера получаются, если взять средние гармоническую точность и отзыва, а именно обратные среднего значение обратной точности и обратный вызова: $F_1$

\begin{aligned} F_{1} & знак равно \frac{1}{\frac{1}{2} \frac{1}{точность} + \frac{1}{2} \frac{1}{отзыв}} \\ знак равно 2 \frac{точность \cdot отзыв}{точность + отзыв} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Вместо использования весов в знаменателе, которые равны и составляют 1 ( для повторного вызова и для точности), мы могли бы вместо этого назначить веса, которые все еще суммируют с 1, но для вес которого при возврате в раза больше веса при точности ( для отзыва и для точности). Это даст вам второе определение : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & знак равно \frac{1}{\frac{1}{β + 1} \frac{1}{точность} + \frac{β}{β + 1} \frac{1}{отзыв}} \\ знак равно (1 + β) \frac{точность \cdot отзыв}{β \cdot точность + отзыв} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Опять же, если бы мы использовали здесь вместо мы бы пришли к вашему первому определению, поэтому различия между этими двумя определениями просто обозначены. $\beta^2$ $\beta$

josliber
источник

1

почему они умножили на термин точности вместо термина отзыва?

β

$\beta$

Анварвик

1

Дифференциальное исчисление, которое учитывает «почему бета- квадрат, а не бета», включено в более новый ответ ниже.

Джавадба

@ Anwarvic Они умножили на обратный отзыв. После факторизации и расширяется с есть термин влево

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

user2740

6

Причиной определения оценки F-бета с помощью является именно та цитата, которую вы предоставляете (т.е. хотите придать раз большую важность, чтобы вспомнить ее точность), учитывая конкретное определение того, что значит прикреплять раз важнее вспомнить, чем точность. $\beta^{2}$ $\beta$ $\beta$

Конкретный способ определения относительной важности двух метрик, которые приводят к формулировке можно найти в информационном поиске (Van Rijsbergen, 1979): $\beta^{2}$

Определение: Относительная важность, которую пользователь придает точности и отзыву, - это отношение при котором , где мера эффективности, основанная на точности и отзыве. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Мотивация для этого существа:

Самый простой способ измерить это - определить отношение при котором пользователь готов обменять приращение на точность на равную потерю при отзыве. $P/R$

Для того, чтобы видеть , что это приводит к препарат можно начать с общей формулой для взвешенного гармонического среднего и , и вычислить их частные производные по отношению к и . Источник привел польз (для «эффективности мер»), который находится всего и объяснение эквивалентно , рассматривается ли или . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F знак равно \frac{1}{(\frac{α}{п} + \frac{1 - α}{р})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial п знак равно \frac{α}{(\frac{α}{п} + \frac{1 - α}{р})^{2} п^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial р знак равно \frac{1 - α}{(\frac{α}{п} + \frac{1 - α}{р})^{2} р^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Теперь, установив производные равны друг другу накладывает ограничение на взаимосвязи между и соотношение . Учитывая, что мы хотим придать раз столько важности, чтобы вспомнить, сколько точности, мы рассмотрим соотношение¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial п знак равно \partial F / \partial р \to \frac{α}{п^{2}} знак равно \frac{1 - α}{р^{2}} \to \frac{р}{п} знак равно \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Определение как этого отношения и перестановка для дает весовые коэффициенты в терминах : $\beta$ $\alpha$ $\beta^{2}$

β знак равно \sqrt{\frac{1 - α}{α}} \to β^{2} знак равно \frac{1 - α}{α} \to β^{2} + 1 знак равно \frac{1}{α} \to α знак равно \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α знак равно 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Мы получаем:

F знак равно \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{п} + \frac{β^{2}}{β^{2} + 1} \frac{1}{р})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Который можно переставить, чтобы придать форму в вашем вопросе.

Таким образом, учитывая приведенное определение, если вы хотите придать раз столько важности, чтобы вспоминать как точность, то следует использовать формулировку . Эта интерпретация не выполняется, если кто-то использует . Эквивалентная, менее интуитивная интерпретация в случае, когда мы просто используем будет состоять в том, что мы хотим придать раз большую важность, чтобы вызывать точность. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Вы можете определить оценку так, как вы предлагаете, однако вы должны знать, что в этом случае либо обсуждаемая интерпретация больше не действует, либо вы подразумеваете какое-то другое определение для количественной оценки компромисса между точностью и отзывом.

Примечания:

$P/R$ используется в информационном поиске, но, похоже, это опечатка, см . Истину F-меры (Saski, 2007).

Ссылки:

Персона
источник

1

Это должен быть принятый ответ.

Джавадба

3

Чтобы указать что-то быстро.

Это означает, что с увеличением значения бета вы цените точность больше.

Я на самом деле думаю, что все наоборот - так как чем выше оценка F-β, тем лучше, чтобы знаменатель был маленьким. Поэтому, если вы уменьшите β, то модель будет наказана меньше за хорошую оценку точности. Если вы увеличиваете β, то показатель F-β наказывается больше, когда точность высокая.

Если вы хотите взвесить оценку F-β так, чтобы она оценивала точность, β должно быть 0 <β <1, где β-> 0 оценивает только точность (числитель становится очень маленьким, и единственное, что в знаменателе - это отзыв, таким образом, показатель F-β уменьшается по мере увеличения числа отзывов).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

H Froedge
источник

0

Причина, по которой β ^ 2 умножается с точностью, заключается именно в том, как определяются F-баллы. Это означает, что с увеличением значения бета вы цените точность больше. Если вы хотите умножить его на отзыв, это также сработает, это будет означать, что при увеличении значения бета вы увеличиваете значение отзыва.

Махмуд
источник

0

Значение бета больше 1 означает, что мы хотим, чтобы наша модель уделяла больше внимания модели Recall по сравнению с Precision. С другой стороны, значение меньше 1 делает больший акцент на точности.

Мохит Шарма
источник

Почему бета-оценка определяет бета как это?

Ответы: