Как правильно применять перекрестную проверку в контексте выбора параметров обучения для машин опорных векторов?

Прекрасный пакет libsvm предоставляет интерфейс Python и файл «easy.py», который автоматически ищет параметры обучения (cost & gamma), которые максимизируют точность классификатора. В заданном наборе параметров обучения кандидата точность реализуется путем перекрестной проверки, но я чувствую, что это подрывает цель перекрестной проверки. То есть, поскольку сами параметры обучения могут быть выбраны способом, который может привести к перегрузке данных, я считаю, что более подходящим подходом было бы применение перекрестной проверки на уровне самого поиска: выполнить поиск на тренировочном наборе данных, а затем оцените предельную точность SVM, полученную в результате окончательно выбранных параметров обучения, путем оценки в отдельном наборе данных тестирования. Или я что-то здесь упускаю?

Если вы изучите гиперпараметры в полных обучающих данных, а затем проведете перекрестную проверку, вы получите оптимистически смещенную оценку производительности, потому что тестовые данные в каждом сгибе уже использовались при настройке гиперпараметров, поэтому гипер- Выбранные параметры выбираются частично, потому что они соответствуют данным в тестовом наборе. Оптимистическая предвзятость, введенная таким образом, может быть неожиданно большой. См. Cawley и Talbot, «О переоснащении при выборе модели и последующем смещении выбора при оценке эффективности», JMLR 11 (июль): 2079-2107, 2010.(В частности, раздел 5.3). Лучшее, что можно сделать - это вложенная перекрестная проверка. Основная идея заключается в том, что вы перекрестно проверяете весь метод, использованный для генерации модели, поэтому рассматривайте выбор модели (выбор гиперпараметров) как просто часть процедуры подбора модели (где определяются параметры), и вы не сможете перейти слишком далеко не так.

Если вы используете перекрестную проверку на обучающем наборе для определения гиперпараметров, а затем оцениваете производительность модели, обученной с использованием этих параметров на всем обучающем наборе, с использованием отдельного проверочного набора, это также хорошо (при условии, что у вас достаточно данных для надежной подгонки модели и оценки производительности с использованием непересекающихся перегородок).

Я не думаю, что перекрестная проверка неправильно используется в случае LIBSVM, потому что это делается на уровне данных тестирования. Все, что он делает - это k-кратная перекрестная проверка и поиск лучшего параметра для ядра RBF. Дайте мне знать, что вы не согласны.