Что такое оптимальный порог F1? Как рассчитать это?

13

Я использовал функцию h2o.glm () в R, которая дает таблицу сопряженности в результате вместе с другой статистикой. Таблица сопряженности называется « Перекрестная таблица на основе оптимального порога F1 »

Википедия определяет F1 балл или F балл как среднее гармоническое значение точности и отзыва. Но Precision и Recall не обнаруживаются только тогда, когда результат прогнозируемых значений логистической регрессии (например) преобразуется в двоичный с использованием отсечения.

Теперь по отсечке я помню, какова связь между счетом F1 и оптимальным порогом. Как рассчитывается оптимальный порог? Как рассчитывается оптимальный порог F1?

Извините, если я что-то пропустил, я новичок в статистике здесь.

threshold SoakingHummer
источник

Ответы:

22

На самом деле я написал свою первую статью по машинному обучению на эту тему. В нем мы определили, что когда ваш классификатор выдает калиброванные вероятности (как они должны делать для логистической регрессии), оптимальный порог составляет примерно 1/2 от оценки F1, которую он достигает. Это дает вам некоторую интуицию. Оптимальный порог никогда не будет больше, чем .5. Если ваш F1 равен .5, а пороговое значение равно .5, то вы должны ожидать улучшения F1, снизив пороговое значение. С другой стороны, если F1 были .5, а порог был .1, вам, вероятно, следует увеличить порог, чтобы улучшить F1.

Документ со всеми подробностями и обсуждением того, почему F1 может или не может быть хорошей мерой для оптимизации (как в случае с одним, так и с несколькими метками), можно найти здесь:

https://arxiv.org/abs/1402.1892

Извините, что это сообщение заняло у меня 9 месяцев. Надеюсь, что вы по-прежнему найдете эту информацию полезной!

Захари Чейз Липтон
источник
1
Может ли F1 быть> 1? Если у вас есть 90% A и 10% ~ A, я думаю, вы захотите порог> .5.
gung - Восстановить Монику
1
Привет @ Gung. Нет, по определению F1 = 2 * p * r / (p + r) и, как и все меры F-бета, имеет диапазон [0,1]. Классовый дисбаланс не меняет диапазон баллов F1. Для некоторых приложений вы, возможно, захотите сделать прогнозы с порогом выше 0,5. В частности, это происходит, когда вы думаете, что ложные срабатывания хуже ложных отрицаний. Но такой порог не оптимизирует счет Формулы-1. Чтобы понять, почему, оценка F1 была разработана в контексте поиска информации. В этих условиях положительный класс встречается редко, и обычно ложные срабатывания не так дороги, как ложные отрицания.
Захари Чейз Липтон
@ZacharyChaseLipton Предположим, у меня есть набор данных, разбитый на train / val / test. Для классификатора, который выводит вероятность, я бы выбрал оптимальный порог F1 в проверочном наборе, изучив порог, который дает лучший F1. Это кажется разумным, так как выбор порога кажется подобным выбору лучшей модели. Это правильная вещь?
пир
Кроме того, предположим, у меня есть классификатор, который не выводит вероятности (например, SVM). Как бы вы оптимизировали F1 на наборе проверки?
пир
Я сделал это в вопросе: stats.stackexchange.com/questions/283931/...
пир