Наивный байесовский классификатор - это классификатор, который назначает элементы классу на основе максимизации апостериорного для членства в классе и предполагает, что характеристики элементов независимы.
Потеря 0-1 - это потеря, которая присваивает любой ошибочной классификации потерю «1», а потерю «0» - любой правильной классификации.
Я часто читаю (1), что «Наивный байесовский классификатор» является оптимальным для потери 0-1. Почему это правда?
(1) Один примерный источник: байесовский классификатор и байесовская ошибка
Ответы:
На самом деле это довольно просто: байесовский классификатор выбирает класс, который имеет наибольшую апостериорную вероятность появления (так называемая максимальная апостериорная оценка ). Функция потерь 0-1 наказывает ошибочную классификацию, то есть назначает наименьшую потерю решению, имеющему наибольшее количество правильных классификаций. Так что в обоих случаях речь идет об оценочном режиме . Напомним, что режим является наиболее распространенным значением в наборе данных или наиболее вероятным значением , поэтому как максимизация апостериорной вероятности, так и минимизация потерь 0-1 приводит к оценке режима.
Если вам нужно формальное доказательство, оно приведено в статье « Введение в байесовскую теорию решений » Анджелы Дж. Ю:
Это верно для максимальной апостериорной оценки в целом. Таким образом, если вы знаете апостериорное распределение, то при условии потери 0-1 наиболее оптимальным правилом классификации является выбор режима апостериорного распределения, мы называем это оптимальным байесовским классификатором . В реальной жизни мы обычно не знаем апостериорное распределение, а скорее оцениваем его. Наивный байесовский классификатор приближает оптимальный классификатор, рассматривая эмпирическое распределение и допуская независимость предикторов. Так что наивный байесовский классификатор сам по себе не является оптимальным, но он приближается к оптимальному решению. В вашем вопросе вы, кажется, путаете эти две вещи.
источник