Как выбрать хорошую рабочую точку из точных кривых отзыва?

Существует ли какой-либо стандартный метод определения «оптимальной» рабочей точки на кривой точного возврата ? (то есть, определение точки на кривой, которая предлагает хороший компромисс между точностью и отзывом)

благодаря

Определение «оптимального» будет, конечно, зависеть от ваших конкретных целей, но вот несколько относительно «стандартных» методов:

• Точка равной частоты ошибок (EER): точка, в которой точность равна отзыву. Некоторым это кажется «естественной» рабочей точкой.

• Уточненная и более принципиальная версия вышесказанного состоит в том, чтобы указать стоимость ошибок различного рода и оптимизировать эту стоимость. Скажем, неправильная классификация элемента (ошибка в точности) вдвое дороже, чем полное отсутствие элемента (ошибка в отзыве). Тогда лучшая рабочая точка это та, где (1 - вспоминать) = 2 * (1 - точность).

• В некоторых задачах у людей есть естественная минимальная приемлемая скорость либо точности, либо отзыва. Допустим, вы знаете, что если более 20% полученных данных неверны, пользователи перестанут использовать ваше приложение. Тогда естественно установить точность до 80% (или чуть ниже) и принять все, что у вас есть в тот момент.

Вслед за вторым и третьим пунктами SheldonCooper: идеальный выбор - сделать так, чтобы кто-то другой сделал выбор, либо в форме порога (точка 3), либо между компромиссом затрат и выгод (точка 2). И, возможно, самый хороший способ предложить им выбор - это кривая ROC .

Я не уверен, насколько это «стандарт», но одним из способов было бы выбрать точку, наиболее близкую к (1, 1), то есть 100% повторного вызова и 100% точности. Это было бы оптимальным балансом между двумя мерами. Это предполагает, что вы не цените точность, а не вспоминаете или наоборот.