Выбор среди правильных правил подсчета очков

22

В большинстве ресурсов о правильных правилах оценки упоминается ряд различных правил оценки, таких как потеря журнала, оценка Бриера или сферическая оценка. Тем не менее, они часто не дают больших указаний на различия между ними. (Приложение A: Википедия .)

Выбор модели, которая максимизирует логарифмическую оценку, соответствует выбору модели максимального правдоподобия, которая кажется хорошим аргументом для использования логарифмической оценки. Существуют ли аналогичные обоснования для оценки Бриера, сферического или других правил оценки? Почему кто-то использует один из них, а не логарифмический выигрыш?

Бен Кун
источник
2
Некоторые намеки есть в номенклатуре. «Функционал затрат» - от оптимизации или разработки оптимальной системы управления. Там нет "лучших". Иметь «добро» означает, что вы должны иметь меру добра. Существует бесконечное количество семейств мер благости. Тривиальный пример: какой путь лучше? Если вы идете к своей казни - сделайте ее долгой приятной. Если вы идете к своему металлу Fields, сделайте его максимально коротким. Системная экспертиза поможет вам выбрать меру благости. Когда у вас есть мера добра, тогда вы можете найти «лучшее».
EngrStudent - Восстановить Монику
1
Возможно, вас заинтересует Merkle & Steyvers, «Выбор строго правильного правила оценки» (2013, Анализ решений ) .
С. Коласса - Восстановить Монику
1
Я позволил себе редактировать заголовок, чтобы сделать его более точным / информативным. Если я неверно истолковал это, извините и не стесняйтесь отменить изменения.
Ричард Харди

Ответы:

18

Почему кто-то использует один из них, а не логарифмический выигрыш?

Поэтому в идеале мы всегда отличаем подходящую модель от принятия решения . В байесовской методологии оценка и выбор модели всегда должны выполняться с использованием предельной вероятности . Затем вы используете модель для создания вероятностных прогнозов, а ваша функция потерь говорит вам, как действовать на основе этих прогнозов.

К сожалению, в реальном мире производительность вычислений часто диктует, что мы объединяем выбор модели и процесс принятия решений и поэтому используем функцию потерь для соответствия нашим моделям. Вот тут-то и проявляется субъективность в выборе модели, потому что нужно угадать, сколько будут стоить разные виды ошибок. Классическим примером является диагностика рака: переоценка чьей-либо вероятности возникновения рака не является хорошей, но недооценивать ее намного хуже.

Кроме того, если вы ищете руководство по выбору правила подсчета очков, вы также можете обратиться к руководству по выбору функции потерь или разработке функции полезности, так как я думаю, что литература по этим двум темам очень более объемный.

Энди Джонс
источник
3
1) Вы говорите, что оценка Бриера по сути является «скрытой функцией потерь», то есть, несмотря на то, что она маскируется под правило оценки / сравнения, не зависящее от функции полезности, она фактически используется, потому что у людей есть определенные предпочтения по отношению к типам ошибки модель делает?
Бен Кун,
2) Есть ли у вас какие-либо конкретные примеры настроек, в которых кто-то мог бы выбрать Brier или сферическую оценку вместо оценки журнала (= предельная вероятность, насколько я понимаю) по этим причинам?
Бен Кун
3) Почему было бы лучше воплотить в модели ваши предположения о функциях потерь / полезности, чем соответствовать предельной вероятности и использовать функцию потерь / полезности при фактическом принятии решения? Кажется, что для идеальных алгоритмов обучения между ними не должно быть разрыва.
Бен Кун
3
1) Да. 2) Не лично, нет. Правила подсчета очков не являются «модными» в той части ML, в которой я работаю. Быстро покопавшись в Scholar , кажется, они вообще немного устарели. Похоже, эта статья будет вам интересна. 3) Под производительностью я подразумевал «вычислительную производительность», а не «прогнозирующую производительность».
Энди Джонс