Я понимаю, что f-мера (основанная на точности и отзыве) - это оценка точности классификатора. Кроме того, f-мера предпочтительнее точности, когда у нас есть несбалансированный набор данных. У меня есть простой вопрос (который больше об использовании правильной терминологии, чем о технологии). У меня несбалансированный набор данных, и я использую f-меру в своих экспериментах. Я собираюсь написать статью, которая НЕ предназначена для конференции по машинному обучению / интеллектуальному анализу данных. Следовательно, я могу сослаться на f-меру синонимично с точностью в этом контексте. Например, у меня есть f-мера 0,82, тогда могу ли я сказать, что мой классификатор достигает 82% точных прогнозов?

Прежде всего, я нахожу «точность» иногда немного вводящей в заблуждение, поскольку она относится к разным вещам:

Термин точность в целом для оценки систем или методов (я аналитик-химик) относится к предвзятости прогнозов, то есть отвечает на вопрос, насколько хороши прогнозы в среднем.

$\frac{TP+TN}{all~cases}$

F-оценка часто вводятся в качестве гармонического среднего точности и вызова (или положительной прогностической ценности и чувствительности). Что касается вашего вопроса, я думаю, что было бы полезно разъяснить это немного дальше и упростить это:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

Последнее выражение не является частью чего-либо, что я могу представить как определенную группу тестовых случаев. В частности, ожидается (сильное) совпадение между ИСТИННЫМИ и ПОЛОЖИТЕЛЬНЫМИ случаями. Это помешало бы мне выразить F-показатель в процентах, поскольку такой вид подразумевает долю случаев. На самом деле, я думаю, я бы предупредил читателя, что F-Score не имеет такой интерпретации.

Быстрый ответ:

Нет, F-measureформула не состоит из TNфактора, и она полезна при поиске проблем ^{(документ)} .

Таким образом, это ( F-measure) правильный подход для оценки несбалансированных наборов данных или в случае проблем с поиском вместо accuracyи ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ ПРИМЕЧАНИЕ ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)