Как выбрать оптимальную ширину бункера при калибровке вероятностных моделей?

12

Предпосылки: Здесь есть несколько замечательных вопросов / ответов о том, как калибровать модели, которые предсказывают вероятности того или иного исхода. Например

  1. Оценка Бриера и ее разложение на разрешение, неопределенность и надежность .
  2. Калибровочные графики и изотоническая регрессия .

Эти методы часто требуют использования метода биннинга для прогнозируемых вероятностей, так что поведение результата (0, 1) сглаживается по бин, принимая средний результат.

Проблема: Тем не менее, я не могу найти ничего, что объясняет мне, как выбрать ширину корзины.

Вопрос: Как выбрать оптимальную ширину корзины?

Попытка: две широко используемые ширины бункера выглядят так:

  1. Биннинг одинаковой ширины, например, 10 бинов, каждый из которых покрывает 10% интервала [0, 1].
  2. Метод биннинга Тьюки обсуждается здесь .

Но являются ли эти варианты бинов наиболее оптимальными, если бы кто-то был заинтересован в поиске интервалов в предсказанных вероятностях, которые являются наиболее ошибочно откалиброванными?

probability predictive-models binary-data calibration scoring-rules Alex
источник
1
Если результат «1» встречается редко, стоит рассмотреть деление на ячейки с равным количеством «1» вместо равного количества выборок. Это может помочь в поддержании дискриминации (AUC) модели после калибровки
ihadanny

Ответы:

4

Любой статистический метод, использующий биннинг, в конечном итоге считается устаревшим. Оценка непрерывной калибровочной кривой была обычным явлением с середины 1990-х годов. Обычно используемые методы - это лесс (с отключенным определением выбросов), линейная логистическая калибровка и сплайн-логистическая калибровка. Я подробно расскажу об этом в моей книге « Стратегии регрессионного моделирования» и в заметках к курсу. См. Http://www.fharrell.com/p/blog-page.html . Пакет R rmsпозволяет легко получить гладкие непараметрические калибровочные кривые, используя либо независимую внешнюю выборку, либо загрузочный тест на исходной выборке разработки модели.

Фрэнк Харрелл
источник
0

По моему опыту, биннинг хорош для визуализации распределения вероятностей, но обычно это плохая идея, если кто-то хочет использовать его для статистических тестов и / или вывода параметров. Прежде всего потому, что каждый сразу ограничивает точность шириной бункера. Другая распространенная проблема - когда переменная не связана, то есть нужно вводить низкие и высокие отсечки.

Работа с кумулятивными распределениями в духе Колмогорова-Смирнова обходит многие из этих проблем. Есть также много хороших статистических методов, доступных в этом случае. (см., например, https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )

Вадим
источник