У меня есть вопрос об оптимизации параметров, когда я использую 10-кратную перекрестную проверку.
Я хочу спросить, должны ли параметры фиксироваться во время обучения модели каждого сгиба, т.е. (1) выбрать один набор оптимизированных параметров для средней точности каждого сгиба.
или же
(2) Я должен найти оптимизированный параметр для каждого сгиба, а затем каждый сгиб использует разные оптимизированные параметры для обучения своей модели, затем проверяет соответственно данные теста сгиба и, наконец, усредняет точность каждого сгиба как результат?
Какой метод является правильным для перекрестной проверки? Большое спасибо.
Ответы:
Давайте сначала проведем различие между двумя наборами параметров: параметрами модели (например, весами для признаков в регрессии) и параметрами алгоритма обучения (и гиперпараметрами). Целью перекрестной проверки является определение параметров обучения, которые хорошо обобщают выборки населения, которые мы изучаем в каждом случае.
Более конкретно: мы осуществляем глобальный поиск в пространстве параметров обучения, но в каждом из них мы фиксируем параметры обучения и изучаем параметры модели. Результатом должны быть параметры обучения, которые в среднем дают лучшую производительность во всех сгибах. Затем мы можем использовать их для обучения модели всего набора данных.
источник
Я думаю, что принятый в настоящее время ответ является неполным неудачным способом. Я не согласен с предложением
Это действительно одно из очень важных приложений перекрестной проверки, но не единственное. Обычно вы хотите сделать две вещи:
Теперь, чтобы выполнить задачу 1 в зависимости от вашего алгоритма, вам может понадобиться настроить некоторые гиперпараметры, и это действительно часто делается путем перекрестной проверки. Но это еще не поможет вам в достижении цели 2. Для этого вам нужно в основном внедрить перекрестную проверку, например:
Чтобы построить хорошую модель, вам просто нужна внутренняя перекрестная проверка. Вам все равно нужно будет сделать это, чтобы получить хорошую модель. Но чтобы получить точную оценку производительности вашей модели, вам необходимо выполнить весь процесс построения модели внутри схемы перекрестной проверки. Это также включает в себя такие шаги, как вменение и т. Д.
источник