Что это означает, что AUC является полусобственным правилом подсчета очков?

Правильное правило подсчета очков - это правило, которое максимизируется «истинной» моделью, и оно не позволяет «хеджировать» или разыгрывать систему (преднамеренно сообщая о различных результатах, как и истинное убеждение модели в улучшении оценки). Оценка Бриера правильная, точность (пропорция классифицирована правильно) неуместна и часто не рекомендуется. Иногда я вижу, что AUC называют полусобственным правилом оценки, что делает его не совсем поддельным, но и менее чувствительным, чем правильные правила (например, здесь /stats//a/90705/53084 ).

Что означает полусобственное правило подсчета очков? Это где-то определено?

Давайте начнем с примера. Скажем, Алиса - тренер по треку и хочет выбрать спортсмена, который будет представлять команду на предстоящем спортивном соревновании - 200-метровом спринте. Естественно, она хочет выбрать самого быстрого бегуна.

• Строго правильное правило подсчета очков будет назначать самый быстрый бегун команды на расстоянии 200 метров. Это максимизирует именно то, что тренер Алиса хочет в этой ситуации. Атлет с самым быстрым ожидаемым выступлением выбирается - это справедливый дискриминационный тест.
• Надлежащее правило подсчета очков будет выбрать спортсмен , который способен запустить 200й самое быстрой , но время округляется до ближайшей половины секунды. Лучший спортсмен, а также, возможно, некоторые другие спортсмены также смогут пройти этот тест. Все атлеты, выбранные таким образом, достаточно конкурентоспособны, но, очевидно, это не идеальный дискриминационный тест скорости.
• Пол надлежащего правило подсчета очков будет выбрать спортсмен , который способен запустить 200й ниже конкурентное пороговое значение времени, например 22 секунд. Как и прежде, лучший спортсмен, а также некоторые другие спортсмены также смогут пройти этот тест. Точно так же все атлеты, выбранные таким образом, могут быть весьма конкурентоспособными, но, очевидно, не только это не идеальный дискриминационный тест, но это также может пойти ужасно плохо (если мы выберем слишком мягкое или слишком жесткое время). Обратите внимание, что это не так.
• Неправильное правило скоринг будет выбрать спортсмена с сильными ногами, например , кто может сидеть на корточках большинство веса. Конечно, любой хороший спринтер, вероятно, имеет очень сильные ноги, но этот тест означает, что некоторые парни из команды по тяжелой атлетике преуспеют здесь. Очевидно, что тяжелоатлет в беге на 200 м был бы катастрофическим!

Хотя приведенный выше пример несколько упрощен, он показывает, что происходит с использованием правил оценки. Алиса предсказывала ожидаемое время спринта. В контексте классификации мы прогнозируем вероятности, минимизируя погрешность вероятностного классификатора.

• Строго надлежащего правила подсчета очков , как счет Браер, гарантирует , что лучший результат будет достигнут только тогда , когда мы так близки к истинным вероятностей , как это возможно.
• Надлежащее правило подсчета очков , как непрерывный занимают вероятностной балл (КИЙ), не гарантирует , что лучший результат будет достигаться только классификатором , чьи прогнозы ближе к истинным вероятностям. Другие кандидаты-классификаторы могут получить баллы CRPS, которые соответствуют оптимальному классификатору.
• Пол надлежащего правило подсчета очков , как КАС-РПЦ, не только делает это не гарантия того, что лучший результат будет достигнут классификатором , чьи прогнозы ближе к истинным вероятностям, но и (потенциально) можно улучшить значения AUC-ROC, перемещая предсказанные вероятности от их истинных значений. Тем не менее, при определенных условиях (например, распределение классов заранее известно в случае AUC-ROC), такие правила могут приближаться к правильному правилу оценки. Бирн (2016) « Примечание об использовании эмпирического AUC для оценки вероятностных прогнозов » поднимает некоторые интересные моменты, касающиеся AUC-ROC.
• Неправильное правило подсчета очков , как точность, предложения практически без связи с нашей первоначальной задачей прогнозирования вероятности как можно ближе к истинной вероятности.

Как мы видим, полусобственное правило подсчета очков не является идеальным, но оно также не является катастрофическим. Это может быть весьма полезно во время предсказания! Cagdas Ozgenc имеет отличный пример здесь , где работает с неподходящим / полу-надлежащего правила предпочтительнее строго надлежащего правила. В общем, термин « полу-правильное правило оценки» встречается не очень часто. Это связано с неправильными правилами, которые, тем не менее, могут быть полезны (например, AUC-ROC или MAE в вероятностной классификации).

Наконец, обратите внимание на что-то важное. Как спринт связан с сильными ногами, так и правильная вероятностная классификация с точностью. Маловероятно, что у хорошего спринтера будут слабые ноги, и вряд ли у хорошего классификатора будет плохая точность. Тем не менее, приравнивание точности с хорошими характеристиками классификатора похоже на приравнивание силы ног с хорошими показателями в спринте. Не совсем необоснованно, но очень правдоподобно, чтобы привести к бессмысленным результатам.