В большинстве ресурсов о правильных правилах оценки упоминается ряд различных правил оценки, таких как потеря журнала, оценка Бриера или сферическая оценка. Тем не менее, они часто не дают больших указаний на различия между ними. (Приложение A: Википедия .)
Выбор модели, которая максимизирует логарифмическую оценку, соответствует выбору модели максимального правдоподобия, которая кажется хорошим аргументом для использования логарифмической оценки. Существуют ли аналогичные обоснования для оценки Бриера, сферического или других правил оценки? Почему кто-то использует один из них, а не логарифмический выигрыш?
Ответы:
Поэтому в идеале мы всегда отличаем подходящую модель от принятия решения . В байесовской методологии оценка и выбор модели всегда должны выполняться с использованием предельной вероятности . Затем вы используете модель для создания вероятностных прогнозов, а ваша функция потерь говорит вам, как действовать на основе этих прогнозов.
К сожалению, в реальном мире производительность вычислений часто диктует, что мы объединяем выбор модели и процесс принятия решений и поэтому используем функцию потерь для соответствия нашим моделям. Вот тут-то и проявляется субъективность в выборе модели, потому что нужно угадать, сколько будут стоить разные виды ошибок. Классическим примером является диагностика рака: переоценка чьей-либо вероятности возникновения рака не является хорошей, но недооценивать ее намного хуже.
Кроме того, если вы ищете руководство по выбору правила подсчета очков, вы также можете обратиться к руководству по выбору функции потерь или разработке функции полезности, так как я думаю, что литература по этим двум темам очень более объемный.
источник