Оценка классификаторов: кривые обучения против кривых ROC

Я хотел бы сравнить 2 разных классификатора для задачи классификации текстов с несколькими классами, которые используют большие обучающие наборы данных. Я сомневаюсь, должен ли я использовать кривые ROC или кривые обучения, чтобы сравнить 2 классификатора.

С одной стороны, кривые обучения полезны для определения размера набора обучающих данных, поскольку вы можете найти размер набора данных, при котором классификатор прекращает обучение (и, возможно, ухудшается). Таким образом, лучшим классификатором в этом случае может быть тот, который достигает максимальной точности при наименьшем размере набора данных.

С другой стороны, кривые ROC позволяют найти точку с правильным компромиссом между чувствительностью / специфичностью. Лучший классификатор в этом случае - только тот, который ближе к верхней левой части, с самым высоким TPR для любого FPR.

Должен ли я использовать оба метода оценки? Возможно ли, чтобы метод с лучшей кривой обучения имел худшую кривую ROC, и наоборот?

Кривая обучения - это всего лишь инструмент диагностики, показывающий, как быстро обучается ваша модель и не застрял ли весь ваш анализ в причудливой области слишком маленьких наборов / слишком маленького ансамбля (если применимо). Единственная часть этого графика, которая интересна для оценки модели, - это ее конец, то есть окончательное исполнение, но для этого не требуется составлять график.
Выбор модели на основе кривой обучения, которую вы набросали в своем вопросе, является довольно плохой идеей, потому что вы, скорее всего, выберете модель, которая лучше всего подходит для слишком малого набора выборок.

О ROCs. Кривая ROC - это метод оценки бинарных моделей, которые дают оценку достоверности того, что объект принадлежит одному классу; возможно также найти для них лучшие пороги, чтобы преобразовать их в фактические классификаторы.
То, что вы описываете, - это скорее идея построить производительность ваших классификаторов в виде диаграммы рассеяния TPR / FPR в пространстве ROC и использовать критерий от ближайшего к верхнему левому углу, чтобы выбрать это, который лучше всего сбалансирован между генерацией ложных срабатываний и пропусков - - эта конкретная цель может быть более элегантно достигнута путем простого выбора модели с лучшим F-показателем (гармоническим средним значением точности и отзыва).