Как построить кривые ROC в мультиклассовой классификации?

66

Другими словами, вместо того, чтобы иметь проблему с двумя классами, я имею дело с 4 классами и все еще хотел бы оценить производительность, используя AUC.

Роб Хиндман
источник
Является ли сокращение размеров вариантом?
Шейн
2
у нас есть 4 класса, не совсем
Weka делает это отлично, используя одну против всех классовых стратегий.

Ответы:

53

Кажется, вы ищете многоклассный ROC-анализ, который является своего рода многоцелевой оптимизацией, описанной в руководстве на ICML'04. Как и в случае нескольких мультиклассовых задач, идея, как правило, заключается в проведении парного сравнения (один класс со всеми другими классами, один класс против другого класса, см. (1) или Элементы статистического обучения ), и в последнее время статья Ландгреба и Дуина на эту тему « Приближение мультиклассового ROC путем парного анализа» , Letters Recognition Letters 2007 28: 1747-1758. Теперь, для наглядности, я видел несколько работ некоторое время назад, большинство из которых вращаются вокруг объема под ROC-поверхностью (VUS) или диаграммой Паутины .

Однако я не знаю, существует ли реализация этих методов на R, хотя я думаю, что эта stars()функция могла бы использоваться для построения паутины. Я только что наткнулся на набор инструментов Matlab, который, кажется, предлагает многоуровневый анализ ROC, PRSD Studio .

Другие документы, которые также могут быть полезны в качестве первого начала для визуализации / вычисления:

Список литературы:
1. Allwein, EL, Schapire, RE и Singer, Y. (2000). Сокращение мультикласса до бинарного: унифицирующий подход для классификаторов маржи. Журнал исследований машинного обучения , 1 : 113–141.

хл
источник
7

Недавно я нашел этот пакет pROC в R, который строит мультиклассовый ROC, используя технику, определенную Hand and Till (2001) . Вы можете использовать функцию multiclass.roc.

Гарак
источник
6

Ответы здесь довольно полны, но я все же хотел бы добавить свои 5 центов. В этом вопросе вы можете найти пример кода R для создания кривых ROC с использованием подхода One-Vs-All и библиотеки ROCR R.

Это сюжет из этого ответа:

РПЦ Кривая

Алексей Григорьев
источник
5

Хотя математика мне не подходит, в этой общей обзорной статье есть некоторые ссылки, которые вам, вероятно, будут интересны, и краткое описание многоклассовых графов ROC.

Введение в анализ ROC Тома Фосетта Письма о распознавании образов Том 27, Выпуск 8, июнь 2006 г., стр. 861-874

Ссылка на PDF, предоставленная gd047 - спасибо

Энди У
источник
2
Я бы сказал то же самое, предоставив другую ссылку google.gr/…
Джордж Донтас
1
А вот еще один, имеющий непосредственное отношение к многоклассовой проблеме: многоклассовый ROC-анализ с точки зрения многоцелевой оптимизации, Pattern Recognition Letters 2006 27 (8): 918-927 ( j.mp/9AMgzq ).
ЧЛ
1
Спасибо за другие ссылки, очевидно, что вся эта тема популярна, и ее архив по науке прямой можно найти здесь sciencedirect.com/…
Энди W