Я перекрестно проверяю модель, которая пытается предсказать счет. Если бы это была проблема бинарной классификации, я бы вычислял AUC вне складывания, а если бы это была проблема регрессии, я бы вычислял среднеквадратичное среднеквадратичное значение или MAE.
Для модели Пуассона какие метрики ошибок я могу использовать для оценки «точности» прогнозов вне выборки? Существует ли расширение AUC по Пуассону, в котором рассматривается, насколько хорошо прогнозы упорядочивают фактические значения?
Похоже, что во многих соревнованиях Kaggle по подсчетам (например, количество полезных голосов, которые получит обзор с визгом, или количество дней, которые пациент проведет в больнице) используют среднеквадратическую ошибку или RMLSE.
/ Правка: я занимался вычислением децилей по прогнозируемым значениям, а затем просматривал фактические значения, сгруппированные по децилям. Если дециль 1 низкая, дециль 10 высокая, а децили между ними строго возрастают, я называю модель «хорошей», но у меня возникли проблемы с количественной оценкой этого процесса, и я убежден, что есть лучший подходить.
/ Правка 2: я ищу формулу, которая принимает прогнозные и фактические значения и возвращает некоторую метрику «ошибки» или «точности». Мой план состоит в том, чтобы вычислить эту функцию на основе данных, превышающих кратные, во время перекрестной проверки, а затем использовать ее для сравнения самых разных моделей (например, регрессии Пуассона, случайного леса и GBM ).
Например, одна такая функция RMSE = sqrt(mean((predicted-actual)^2))
. Другой такой функцией будет AUC . Кажется, ни одна из этих функций не подходит для данных Пуассона.
Ответы:
Есть пара правильных и строго правильных правил подсчета для данных подсчета, которые вы можете использовать. Правилами подсчета являются штрафы введенные с являющимся прогнозным распределением, и наблюдаемым значением. Они имеют ряд желательных свойств, в первую очередь то, что прогноз, который ближе к истинной вероятности, всегда будет получать меньше штрафов, и существует (уникальный) лучший прогноз, и это тот случай, когда прогнозируемая вероятность совпадает с истинной вероятностью. Таким образом, минимизация ожидания означает сообщение об истинных вероятностях. Смотрите также Википедия .P y s ( y , P )s(y,P) P y s(y,P)
Зачастую в качестве усредненных значений по всем прогнозируемым значениям
Какое правило выбрать, зависит от вашей цели, но я приведу приблизительную характеристику, когда каждый из них подходит для использования.
В дальнейшем я использую для функции прогнозирующей массовой вероятности и для прогнозной кумулятивной функции распределения. А пробегает всю поддержку распределения счета (т.е. ). обозначаю функцию индикатора. и - это среднее и стандартное отклонение прогнозирующего распределения (которые обычно являются непосредственно оцененными величинами в моделях данных подсчета).f(y) Pr(Y=y) F(y) ∑k 0,1,…,∞ I μ σ
Строго правильные правила подсчета очков
Другие правила подсчета очков (не очень правильные, но часто используемые)
Пример кода R для строго правильных правил:
источник
-log(f(y))
. Является ли-
знак действительно должен быть там? В вашей ссылке на правило Википедии правила ( en.wikipedia.org/wiki/Scoring_rule#Logarithmic_scoring_rule ) логарифмическая оценка как отрицательный знак:L(r,i)=ln(ri)
это нормально? Наконец, в таком случае, более высокий балл лучше или хуже?