Когда точность важнее, чем вспомнить?

Кто-нибудь может дать мне несколько примеров, где важна точность, и несколько примеров, где важен отзыв?

• Для моделирования данных по редким видам рака все, что не учитывает ложноотрицательные результаты, является преступлением. Напомним , это лучшая мера, чем точность.
• Для рекомендаций YouTube ложные негативы менее важны. Точность лучше здесь.

Я могу привести мой реальный случай, когда отзыв важнее:

У нас тысячи бесплатных клиентов, которые регистрируются на нашем сайте каждую неделю. Колл-центр хочет позвонить им всем, но это невозможно, поэтому они просят меня выбрать тех, у кого есть хорошие шансы стать покупателем (как мы относимся к ним с высокой температурой). Мы не хотим называть парня, который не собирается покупать (поэтому точность не важна), но для нас очень важно, чтобы все они с высокой температурой всегда были в моем выборе, поэтому они не обходятся без покупки. Это означает, что моя модель должна иметь высокий отзыв , независимо от того, идет ли точность в ад.

Я надеюсь, что это помогает! Мигель.

Хотя в некоторых ситуациях отзыв может быть важнее точности (или наоборот), вам нужно и то, и другое, чтобы получить более понятную оценку.

Например, как отмечает @SmallChess, в медицинском сообществе ложный отрицательный результат обычно более катастрофичен, чем ложный положительный для предварительных диагнозов. Таким образом, можно считать отзыв более важным измерением. Тем не менее, вы можете иметь 100% -ый отзыв, но иметь бесполезную модель: если ваша модель всегда выдает положительный прогноз, она будет иметь 100% -ный отзыв, но будет совершенно неинформативным.

Вот почему мы смотрим на несколько показателей:

• кривая точного возврата
• AUROC
• а иногда и такие показатели, как оценка F

Что важнее, зависит от стоимости каждой ошибки.

Точность имеет тенденцию включать прямые затраты; чем больше ложных срабатываний у вас есть, тем больше цена за истинный положительный результат. Если ваши затраты невелики, то точность не так важна. Например, если у вас есть 1 млн адресов электронной почты, и отправка писем всем им будет стоить 10 долларов, вероятно, вам не стоит тратить время на поиск людей, которые, скорее всего, ответят, а просто рассылать спам по всем из них.

Напомним, с другой стороны, имеет тенденцию включать альтернативные издержки; вы отказываетесь от возможностей каждый раз, когда у вас есть ложный негатив. Таким образом, отзыв наименее важен, когда предельное значение дополнительной правильной идентификации невелико, например, существует множество возможностей, между ними мало различий и может использоваться только ограниченное число. Например, предположим, что вы хотите купить яблоко. В магазине 100 яблок, и 10 из них плохие. Если у вас есть метод распознавания плохих яблок, который пропускает 80% хороших, то вы найдете около 18 хороших яблок. Как правило, отзыв 20% был бы ужасен, но если вы хотите только 5 яблок, то пропустить эти 72 других яблока на самом деле не имеет значения.

Так что отзыв наиболее важен, когда:

-Количество возможностей невелико (если бы было только 10 хороших яблок, то вряд ли вы найдете 5 хороших с коэффициентом отзыва только 20%)
-Есть значительные различия между возможностями (если одни яблоки лучше других тогда для получения 5 хороших яблок достаточно 20% повторного отзыва, но они не обязательно будут лучшими яблоками)
ИЛИ
- Предельная выгода от возможностей остается высокой даже для большого количества возможностей. Например, в то время как большинство покупателей не получат большой выгоды от более чем 18 хороших яблок, магазин хотел бы иметь более 18 яблок для продажи.

Таким образом, точность будет важнее, чем вспомнить, когда стоимость действия высока, а стоимость неактивности низкая. Обратите внимание, что это затраты на действия / не действия на кандидата, а не «затраты на какие-либо действия вообще» по сравнению с «стоимостью отсутствия каких-либо действий вообще». В примере с яблоком это стоимость покупки / не покупки конкретного яблока, а не стоимость покупки некоторых яблок по сравнению со стоимостью не покупки каких-либо яблок; стоимость отказа от покупки определенного яблока низкая, потому что есть много других яблок. Поскольку стоимость покупки плохого яблока высока, а стоимость изготовления хорошего яблока невысока, точность в этом примере важнее. Еще одним примером будет найм, когда есть много похожих кандидатов.

Напоминание более важно, чем точность, когда стоимость действия низкая, но альтернативная цена отказа от кандидата высока. Есть пример спама, который я привел ранее (стоимость пропуска по адресу электронной почты невысокая, но стоимость отправки письма тому, кто не отвечает, еще ниже), и другим примером будет определение кандидатов на прививка от гриппа: сделайте прививку от гриппа тому, кому это не нужно, и это стоит несколько долларов, не давайте это кому-то, кто в этом нуждается, и они могут умереть. Из-за этого планы здравоохранения, как правило, будут предлагать прививку от гриппа всем, полностью игнорируя точность.

Накопление дает отличный ответ о том, как вы можете придумать больше примеров, объясняющих важность точности по сравнению с отзывом и наоборот.

Большинство других ответов убедительно доказывают важность вспоминания, поэтому я подумал, что приведу пример важности точности. Это абсолютно гипотетический пример, но он оправдывает себя.

Допустим, что модель машинного обучения создана для прогнозирования, является ли определенный день хорошим днем ​​для запуска спутников или нет, исходя из погоды.

• Если модель случайно предсказывает, что хороший день для запуска спутников плох ( ложно отрицательный ), мы упускаем шанс запустить. Это не такая уж большая проблема.

• Однако, если модель предсказывает, что это хороший день, но на самом деле это плохой день для запуска спутников ( ложное срабатывание ), тогда спутники могут быть уничтожены, а стоимость ущерба исчисляется миллиардами.

Это тот случай, когда точность важнее, чем вспомнить.

Мне было непросто вспомнить разницу между точностью и воспоминаниями, пока я не придумал для себя эту мнемонику:

PREcision - это тесты PREgnancy, а reCALL - центр CALL.

С тестом на беременность производитель теста должен быть уверен, что положительный результат означает, что женщина действительно беременна. Люди могут отреагировать на положительный тест, неожиданно выйдя замуж или купив дом (если многие потребители получат ложные срабатывания и понесут огромные расходы без всякой причины, у производителя теста не будет покупателей). Однажды я получила ложноотрицательный тест на беременность, и это означало, что прошло еще несколько недель, прежде чем я узнала, что я беременна ... правда в конечном итоге стала явной. (Пун намеревался.)

Теперь представьте себе колл-центр для страховых выплат. Большинство мошеннических заявлений поступают по понедельникам, после того, как мошенники связываются с сотрудниками и создают свои выдуманные истории («скажем, автомобиль был украден») в выходные. Что лучше для страховой компании делать по понедельникам? Возможно, им следует настроиться на то, чтобы отдать предпочтение отзыву, а не точности Гораздо лучше отметить больше претензий как положительные (вероятное мошенничество) для дальнейшего расследования, чем пропустить часть мошенничества и выплатить наличные, которые никогда не должны были выплачиваться. Ложный положительный результат (помеченный для дополнительной проверки как возможное мошенничество, но потеря клиента была реальной), вероятно, может быть устранен путем назначения опытного корректора, который может настаивать на полицейском отчете, запросить видеозапись безопасности здания и т. Д. Ложный отрицательный ответ (принятие мошенник

F1 великолепен, но понимание того, как будет использоваться тест / прогноз, действительно важно, потому что всегда есть некоторый риск ошибиться ... вы хотите знать, насколько тяжелыми будут последствия, если ошибаться.

Обнаружение спама в электронной почте : это один из примеров, где точность важнее, чем отзыв .

Краткий обзор :

• Точность : это говорит о том, что когда вы предсказываете что-то положительное, сколько раз они действительно были положительными в то время как,

• Напомним : из реальных положительных данных вы узнаете, сколько раз вы правильно прогнозировали.

Сказав выше, в случае обнаружения спам-писем, все должно быть в порядке, если спам-письмо (положительный случай) осталось незамеченным и не попадает в папку со спамом, но , если письмо хорошее (отрицательное), то оно не должно переходить на папка для спама. то есть Precison более важен. (Если модель предсказывает что-то положительное (например, спам), это будет спам. В противном случае вы можете пропустить важные электронные письма).

Надеюсь, это проясняет.