Я знаю формулу среднеквадратичной ошибки и как ее вычислить. Когда мы говорим о регрессии, мы можем вычислить среднеквадратическую ошибку. Однако можно ли говорить о MSE для задачи классификации и как ее вычислить?
Многие классификаторы могут прогнозировать непрерывные оценки. Часто непрерывные оценки являются промежуточными результатами, которые преобразуются только в метки классов (обычно по порогу) как самый последний шаг классификации. В других случаях, например, могут быть рассчитаны апостериорные вероятности принадлежности к классу (например, дискриминантный анализ, логистическая регрессия). Вы можете рассчитать MSE, используя эти непрерывные оценки, а не метки классов. Преимущество этого состоит в том, что вы избегаете потери информации из-за дихотомии.
Когда непрерывная оценка является вероятностью, метрика MSE называется оценкой Бриера.
Однако существуют также проблемы классификации, которые являются скорее скрытыми проблемами регрессии. В моей области это может быть, например, классификация случаев в зависимости от того, превышает ли концентрация какого-либо вещества законный предел или нет (что является бинарной / дискриминационной проблемой двух классов). Здесь, MSE является естественным выбором из-за основного регрессионного характера задачи.
В этой статье мы объясняем это как часть более общей структуры:
C. Beleites, R. Salzer и V. Sergo:
валидация моделей мягкой классификации с использованием частичного членства в классе: расширенная концепция чувствительности и Ко применительно к классификации астроцитомных тканей
Chemom. Интелл. Лаборатория Syst., 122 (2013), 12 - 22.
Как его вычислить: если вы работаете в R, одна реализация находится в пакете "softclassval", http: /softclassval.r-forge.r-project.org.
Я не совсем понимаю, как ... успешная классификация - это бинарная переменная (правильная или нет), поэтому трудно увидеть, что вы бы возвели в квадрат.
Обычно классификации измеряются по таким показателям, как процент правильных значений, когда классификация, которая была оценена по обучающему набору, применяется к набору для испытаний, который был отложен ранее.
Среднеквадратическую ошибку можно, конечно, вычислить (и вычислить) для прогнозов или прогнозных значений непрерывных переменных, но я думаю, что это не для классификаций.
источник
Для оценки вероятности вы бы хотели вычислить не MSE, а вместо этого вероятность:π^
Эта вероятность для двоичного ответа, который, как предполагается, имеет распределение Бернулли.
Если вы берете лог и затем отрицаете, вы получаете логистическую потерю, которая является своего рода аналогом MSE, когда у вас есть двоичный ответ. В частности, MSE - это отрицательная логарифмическая вероятность непрерывного отклика, предположительно имеющего нормальное распределение.L
источник
Технически это возможно, но функция MSE невыпуклая для двоичной классификации. Таким образом, если бинарная классификационная модель обучается с помощью функции стоимости MSE, то не гарантируется минимизация функции стоимости . Кроме того, использование MSE в качестве функции стоимости предполагает распределение по Гауссу, что не относится к двоичной классификации.
источник