Когда правильное правило оценки является лучшей оценкой обобщения в условиях классификации?

9

Типичный подход к решению проблемы классификации состоит в том, чтобы идентифицировать класс моделей-кандидатов, а затем выполнить выбор модели с использованием некоторой процедуры, такой как перекрестная проверка. Обычно выбирается модель с наивысшей точностью или некоторая связанная функция, которая кодирует информацию о проблеме, например Fβ .

Предполагая, что конечной целью является создание точного классификатора (где определение точности опять-таки зависит от проблемы), в каких ситуациях лучше выполнить выбор модели, используя правильное правило оценки, а не что-то неподходящее, например, точность, точность, отзыв , так далее? Кроме того, давайте проигнорируем проблемы сложности модели и предположим, что априори мы считаем все модели одинаково вероятными.

Раньше я бы сказал никогда. Мы знаем, что в формальном смысле классификация является более простой проблемой, чем регрессия [1], [2], и мы можем получить более строгие оценки для первых, чем для более поздних ( ). Кроме того, существуют случаи, когда попытка точного сопоставления вероятностей может привести к неправильным границам принятия решений или переобучению . Однако, основываясь на разговоре здесь и результаты голосования сообщества в отношении таких вопросов, я сомнение этой точки зрения.*

  1. Деврой, Люк. Вероятностная теория распознавания образов. Том 31. Springer, 1996. Раздел 6.7
  2. Кернс, Майкл Дж. И Роберт Э. Шапире. Эффективное обучение без распределения вероятностных концепций. Основы информатики, 1990. Труды., 31-й ежегодный симпозиум на. IEEE, 1990.

Это утверждение может быть немного неаккуратным. Я конкретно имею в виду, что с учетом помеченных данных вида S = { ( x 1 , y 1 ) , , ( x n , y n ) } с x iX и y i{ 1 , , K } , кажется, Чтобы было легче оценить границы решения, чем точно оценить условные вероятности.(*)Sзнак равно{(Икс1,Y1),...,(ИксN,YN)}ИксяИксYя{1,...,К}

альт
источник

Ответы:

4

Думайте об этом как о сравнении между тестом / тестом Уилкоксона и медианным тестом настроения. Медианный тест использует оптимальную классификацию (выше или ниже медианы для непрерывной переменной), так что он только теряет 1T информации в выборке. Дихотомизация в точке, отличной от медианы, потеряет гораздо больше информации. Использование неправильного правила оценки, такого как пропорция, классифицированная как «правильно», не более21π или около22π эффективных. Это приводит к выбору неправильных функций и поиску фиктивной модели.23

Фрэнк Харрелл
источник
часЧАСп(Икс,Y)~D(час(Икс)Y)SD
2
Проблема в том, что классификация (в отличие от прогнозирования риска) является ненужной дихотомией.
Фрэнк Харрелл
Так безопасно ли предполагать, что ответ на этот вопрос никогда не будет, при условии, что целью является байесовское оптимальное принятие решения относительно некоторой функции полезности и не точно сопоставления вероятностей?
Альт
проб(Yзнак равно1|Иксзнак равноИкс)проб(Yзнак равно1|Икс>с)
1
Хорошая дискуссия. В некоторых случаях, например, с некоторыми детекторами спама, вы можете получить «неопределенный». Меня больше волнует порог в таких проблемах, как медицинский диагноз и прогноз.
Фрэнк Харрелл