В чем преимущества кривых ROC?
Например, я классифицирую некоторые изображения, что является проблемой двоичной классификации. Я выделил около 500 объектов и применил алгоритм выбора объектов, чтобы выбрать набор функций, а затем применил SVM для классификации. В этом случае, как я могу получить кривую ROC? Должен ли я изменить пороговые значения моего алгоритма выбора объектов и получить чувствительность и специфичность выходных данных для построения кривой ROC?
В моем случае, какова цель создания кривой ROC?
machine-learning
roc
user570593
источник
источник
Ответы:
Многие двоичные алгоритмы классификации вычисляют своего рода классификационный балл (иногда, но не всегда, это вероятность нахождения в целевом состоянии), и они классифицируют на основе того, превышает ли балл определенный предел. Просмотр кривой ROC позволяет увидеть компромисс между чувствительностью и специфичностью для всех возможных порогов, а не только тот, который был выбран методом моделирования. Различные цели классификации могут сделать одну точку кривой более подходящей для одной задачи, а другую - более подходящей для другой задачи, поэтому рассмотрение кривой ROC является способом оценки модели, независимой от выбора порога.
источник
Кривые ROC не информативны в 99% случаев, которые я видел за последние несколько лет. Похоже, что они считаются обязательными для многих статистиков и даже больше специалистов по машинному обучению. И убедитесь, что ваша проблема действительно является проблемой классификации, а не проблемой оценки риска. В основе проблем с кривыми ROC лежит то, что они предлагают пользователям использовать контрольные точки для непрерывных переменных, и они используют обратные вероятности, то есть вероятности событий в обратном временном порядке (чувствительность и специфичность). Кривые ROC не могут быть использованы для нахождения оптимального компромисса, кроме как в очень особых случаях, когда пользователи правила принятия решений отказываются от своей функции потерь (затрат; полезности) для аналитика.
источник
После создания кривой ROC можно рассчитать AUC (площадь под кривой). AUC - это точность теста во многих порогах. AUC = 1 означает, что тест идеален. AUC = .5 означает, что выполняет в случае бинарной классификации.
Если имеется несколько моделей, AUC предоставляет одно измерение для сравнения между разными моделями. Всегда есть компромиссы с какой-то одной мерой, но AUC - хорошее место для начала.
источник
AUC не сравнивает классы реальные и предсказанные друг с другом. Это не смотрит на прогнозируемый класс, а на оценку прогноза или вероятность. Вы можете сделать прогнозирование класса, применяя отсечение к этому баллу, скажем, каждый образец, который получил оценку ниже 0,5, классифицируется как отрицательный. Но РПЦ приходит до того, как это произойдет. Это работает с оценками / классом вероятностей.
Он берет эти оценки и сортирует все образцы в соответствии с этой оценкой. Теперь, когда вы найдете положительный образец, ROC-кривая делает шаг вверх (вдоль оси Y). Всякий раз, когда вы найдете отрицательный образец, вы двигаетесь вправо (вдоль оси X). Если этот балл отличается для двух классов, положительные образцы идут первыми (обычно). Это означает, что вы делаете больше шагов, чем вправо. Далее по списку появятся отрицательные образцы, поэтому вы двигаетесь влево. Когда вы просматриваете весь список образцов, вы достигаете координаты (1,1), что соответствует 100% положительных и 100% отрицательных образцов.
Если результат отлично отделяет положительные от отрицательных образцов, вы перемещаетесь от (x = 0, y = 0) до (1,0), а затем оттуда к (1, 1). Итак, площадь под кривой равна 1.
Если ваша оценка имеет одинаковое распределение для положительной и отрицательной выборок, вероятности найти положительную или отрицательную выборку в отсортированном списке равны, и, следовательно, вероятности для перемещения вверх или влево на ROC-кривой равны. Вот почему вы двигаетесь по диагонали, потому что вы двигаетесь вверх и влево, вверх и влево и т. Д., Что дает значение AROC около 0,5.
В случае несбалансированного набора данных размер шага отличается. Таким образом, вы делаете меньшие шаги влево (если у вас больше отрицательных образцов). Вот почему оценка более или менее не зависит от дисбаланса.
Таким образом, с помощью кривой ROC вы можете визуализировать, как ваши выборки разделены, и область под кривой может быть очень хорошим показателем для измерения производительности алгоритма двоичной классификации или любой переменной, которая может использоваться для разделения классов.
На рисунке показаны одинаковые распределения с разными размерами выборки. Черная область показывает, где ожидаются ROC-кривые случайных смесей положительных и отрицательных образцов.
источник