Типичный подход к решению проблемы классификации состоит в том, чтобы идентифицировать класс моделей-кандидатов, а затем выполнить выбор модели с использованием некоторой процедуры, такой как перекрестная проверка. Обычно выбирается модель с наивысшей точностью или некоторая связанная функция, которая кодирует информацию о проблеме, например .
Предполагая, что конечной целью является создание точного классификатора (где определение точности опять-таки зависит от проблемы), в каких ситуациях лучше выполнить выбор модели, используя правильное правило оценки, а не что-то неподходящее, например, точность, точность, отзыв , так далее? Кроме того, давайте проигнорируем проблемы сложности модели и предположим, что априори мы считаем все модели одинаково вероятными.
Раньше я бы сказал никогда. Мы знаем, что в формальном смысле классификация является более простой проблемой, чем регрессия [1], [2], и мы можем получить более строгие оценки для первых, чем для более поздних ( ). Кроме того, существуют случаи, когда попытка точного сопоставления вероятностей может привести к неправильным границам принятия решений или переобучению . Однако, основываясь на разговоре здесь и результаты голосования сообщества в отношении таких вопросов, я сомнение этой точки зрения.
- Деврой, Люк. Вероятностная теория распознавания образов. Том 31. Springer, 1996. Раздел 6.7
- Кернс, Майкл Дж. И Роберт Э. Шапире. Эффективное обучение без распределения вероятностных концепций. Основы информатики, 1990. Труды., 31-й ежегодный симпозиум на. IEEE, 1990.
Это утверждение может быть немного неаккуратным. Я конкретно имею в виду, что с учетом помеченных данных вида S = { ( x 1 , y 1 ) , … , ( x n , y n ) } с x i ∈ X и y i ∈ { 1 , … , K } , кажется, Чтобы было легче оценить границы решения, чем точно оценить условные вероятности.