Как k-кратная перекрестная проверка подходит в контексте наборов обучения / проверки / тестирования?

Мой главный вопрос касается попыток понять, как k-кратная перекрестная проверка подходит в контексте наличия наборов обучения / проверки / тестирования (если это вообще подходит в таком контексте).

Обычно люди говорят о разделении данных на набор для обучения, валидации и тестирования, скажем, с соотношением 60/20/20 на курс Эндрю Нга, посредством чего набор валидации используется для определения оптимальных параметров для обучения модели.

Однако, если кто-то хотел использовать перекрестную проверку в k-кратном выражении в надежде получить более репрезентативную меру точности, когда объем данных является относительно небольшим, то, что делает перекрестная проверка в k-кратном порядке, влечет за собой именно это разделение 60/20/20 сценарий?

Например, будет ли это означать, что мы на самом деле объединим обучающий и тестовый наборы (80% данных) и проведем к-кратную перекрестную проверку на них, чтобы получить меру точности (фактически отказавшись от наличия явного «набора тестирования»)? Если да, то какую обученную модель мы используем a) в производстве и b) использовать в сравнении с проверочным набором и определить оптимальные параметры обучения? Например, один из возможных ответов для a и b, возможно, заключается в использовании модели наилучшего сгиба.

Перекрестная проверка обычно помогает избежать необходимости набора проверки.

Основная идея с наборами данных обучения / проверки / тестирования заключается в следующем:

1. Обучение: Вы пробуете различные типы моделей с различными вариантами гиперпараметров на данных обучения (например, линейная модель с различным выбором характеристик, нейронная сеть с различным выбором слоев, случайный лес с различными значениями mtry).

2. Проверка: вы сравниваете производительность моделей на шаге 1 на основе набора проверки и выбираете победителя. Это помогает избежать неправильных решений, принятых путем переобучения набора тренировочных данных.

3. Тест: вы опробуете модель-победителя на тестовых данных, чтобы почувствовать, насколько хорошо она работает в реальности. Это распутывает переоснащение, представленное на шаге 2. Здесь вы не будете принимать никаких дальнейших решений. Это просто простая информация.

Теперь, в случае, когда вы заменяете шаг проверки перекрестной проверкой, атака на данные выполняется почти идентично, но у вас есть только обучающий и тестовый набор данных. Нет необходимости в проверочном наборе данных.

1. Обучение: см. Выше.

2. Валидация. Вы проводите перекрестную проверку данных обучения, чтобы выбрать лучшую модель шага 1 в отношении эффективности перекрестной проверки (здесь исходные данные обучения многократно разделяются на временный набор обучения и проверки). Модели, рассчитанные в перекрестной проверке, используются только для выбора наилучшей модели шага 1, которая рассчитывается на основе полного обучающего набора.

3. Тест: см. Выше.

$K$ кратная перекрестная проверка - это стратегия повторной выборки, как и многие другие.

Разделение на обучение / валидацию / тестирование также является стратегией выборки.

Вы можете заменить обучение / валидацию другой стратегией отбора проб. Затем вы должны выполнить кратное CV на 80% данных и протестировать на оставшиеся 20%.$K$

Вы также можете применить его к части тестирования (это то, что люди называют вложенной перекрестной проверкой), где сгибы используются для обучения / проверки, а оставшаяся часть - для проверки, затем вы повторяете это сгибами.$K-1$