Когда целесообразно использовать неправильное правило подсчета очков?

27

Merkle & Steyvers (2013) пишут:

Чтобы формально определить правильное правило оценки, пусть будет вероятностным прогнозом испытания Бернулли с истинной вероятностью успеха . Правильные правила оценки - это метрики, ожидаемые значения которых сведены к минимуму, если .еdпезнак равноп

Я понимаю, что это хорошо, потому что мы хотим побудить прогнозистов генерировать прогнозы, которые честно отражают их истинные убеждения, и не хотят давать им извращенные стимулы поступать иначе.

Есть ли реальные примеры, в которых уместно использовать неправильное правило подсчета очков?

Справочник
Merkle, EC & Steyvers, M. (2013). Выбор строго правильного правила подсчета очков. Анализ решений, 10 (4), 292-304

user1205901 - Восстановить Монику
источник
1
Я думаю, что первая колонка последней страницы Winkler & Jose «Правила подсчета очков» (2010), которую цитирует Merkle & Steyvers (2013), предлагает ответ. А именно, если полезность не является аффинным преобразованием оценки (что может быть оправдано неприятием риска и т. Д.), Максимизация ожидаемой полезности будет противоречить максимизации ожидаемой оценки
Ричард Харди

Ответы:

25

Уместно использовать неправильное правило подсчета очков, когда целью является прогнозирование, но не вывод. Мне действительно все равно, обманывает ли другой синоптик или нет, когда я буду делать прогноз.

Правильные правила оценки гарантируют, что в процессе оценки модель приближается к истинному процессу генерирования данных (DGP). Это звучит многообещающе, потому что когда мы приближаемся к истинному DGP, мы также будем добиваться хороших результатов с точки зрения прогнозирования при любой функции потерь. Суть в том, что большую часть времени (на самом деле в действительности почти всегда) наше пространство поиска модели не содержит истинного DGP. В итоге мы приближаем истинный DGP к некоторой функциональной форме, которую мы предлагаем.

В этой более реалистичной обстановке, если наша задача прогнозирования проще, чем вычисление всей плотности истинного DGP, мы на самом деле можем добиться большего. Это особенно верно для классификации. Например, настоящий DGP может быть очень сложным, но задача классификации может быть очень простой.

Ярослав Булатов привел в своем блоге следующий пример:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

Как вы можете видеть ниже, истинная плотность неоднозначна, но очень легко построить классификатор, чтобы разделить сгенерированные этим данные на два класса. Просто если выведите класс 1, а если выведите класс 2.Икс0Икс<0

введите описание изображения здесь

Вместо того, чтобы сопоставить точную плотность выше, мы предлагаем следующую грубую модель, которая довольно далека от истинного DGP. Однако это делает совершенную классификацию. Это обнаруживается при использовании потери шарнира, что не является правильным.

введите описание изображения здесь

С другой стороны, если вы решите найти настоящий DGP с потерей журнала (что правильно), вы начнете подбирать некоторые функционалы, так как не знаете, какую именно функциональную форму вам нужно априори. Но когда вы стараетесь все больше и больше соответствовать, вы начинаете неправильно классифицировать вещи.

введите описание изображения здесь

Обратите внимание, что в обоих случаях мы использовали одинаковые функциональные формы. В случае неправильной потери он выродился в ступенчатую функцию, которая, в свою очередь, выполнила отличную классификацию. В надлежащем случае он пришел в бешенство, пытаясь удовлетворить каждую область плотности.

По сути, нам не всегда нужно добиваться истинной модели, чтобы иметь точные прогнозы. Или иногда нам не нужно делать добро во всей области плотности, но мы должны быть очень хорошими только в определенных ее частях.

Кагдас Озгенц
источник
13
Это замечательный пример, действительно пища для размышлений.
Мэтью Друри
7

Точность (т. Е. Процент правильно классифицированных) является неправильным правилом подсчета очков, поэтому в некотором смысле люди делают это постоянно.

В целом, любое правило подсчета очков, которое вынуждает делать прогнозы в заранее определенной категории, будет неправильным. Классификация - крайний случай этого (единственно допустимые прогнозы - 0% и 100%), но прогноз погоды, вероятно, также немного неправильный - мои местные станции, кажется, сообщают о вероятности дождя с интервалами 10 или 20%, хотя я Держу пари, что базовая модель гораздо точнее.

Правильные правила подсчета также предполагают, что прогнозист нейтрален к риску. Это часто не относится к фактическим прогнозистам-людям, которые, как правило, не подвержены риску, и некоторые приложения могут извлечь выгоду из правила оценки, которое воспроизводит это смещение. Например, вы можете придать немного больше веса P (дождь), поскольку носить зонтик, но не нуждаться в нем, гораздо лучше, чем попадать в ливень.

Мэтт Краузе
источник
3
Я не думаю, что понимаю ваш третий абзац. Я писал аналогичный ответ в том же духе, что мы можем больше сосредоточиться на правильном определении высоких квантилей прогнозной плотности, но я не понимаю, как такая функция потерь побудила бы нас использовать неправильное правило оценки. В конце концов, у нас все еще будет мотивация прогнозировать правильное распределение в будущем. Не могли бы вы уточнить?
С. Коласса - Восстановить Монику
1
Если прогнозист максимизирует свою ожидаемую полезность (вместо значения), то правильные правила оценки могут на самом деле не быть правильными (например, если полезность не является линейной функцией оценки). Однако, если вы знаете или можете оценить функцию полезности, я думаю, вы могли бы придумать вместо этого специально разработанное правильное правило подсчета, применив его обратное.
Мэтт Краузе
3
Но правильность правила оценки не связана с утилитой, она связана только с прогнозируемым и фактическим будущим распределением, поэтому я до сих пор не понимаю ни первое предложение вашего комментария, ни то, почему мы хотели бы использовать неправильное правило оценки. , Тем не менее, вы напоминаете мне статью Ehm at al, появившуюся в JRSS-B , которую я пролистал при написании прерванного ответа, но там, где я не нашел ничего полезного для настоящего вопроса - более полезное чтение может быть более полезным.
С. Коласса - Восстановить Монику
@StephanKolassa, возможно, первая колонка последней страницы Winkler & Jose «Правила подсчета очков» (2010) объясняет это?
Ричард Харди
Комментарии не для расширенного обсуждения; этот разговор был перенесен в чат .
gung - Восстановить Монику