Как работает перекрестная проверка без участия? Как выбрать окончательную модель из

25

У меня есть некоторые данные, и я хочу построить модель (скажем, модель линейной регрессии) из этих данных. На следующем шаге я хочу применить к модели перекрестную проверку Leave-One-Out (LOOCV), чтобы увидеть, насколько хорошо она работает.

Если я правильно понял LOOCV, я строю новую модель для каждого из моих образцов (набор тестов), используя каждый образец, кроме этого (обучающий набор). Затем я использую модель для прогнозирования набора тестов и вычисления ошибок .(предсказанный-фактический)

На следующем этапе я объединяю все ошибки, сгенерированные с использованием выбранной функции, например, среднеквадратическая ошибка. Я могу использовать эти значения, чтобы судить о качестве (или пригодности) модели.

Вопрос: К какой модели относятся эти значения качества, и какую модель выбрать, если я нахожу показатели, сгенерированные из LOOCV, подходящими для моего случая? LOOCV рассмотрел различных моделей (где - размер выборки); какую модель мне выбрать?NN

  • Это модель, которая использует все образцы? Эта модель никогда не была рассчитана во время процесса LOOCV!
  • Это модель, которая имеет наименьшую ошибку?
cross-validation theomega
источник
Связанный: stats.stackexchange.com/questions/11602 .
говорит амеба: восстанови Монику

Ответы:

24

N-1N

Вместо того, чтобы выбирать одну модель, нужно приспособить модель ко всем данным и использовать LOO-CV, чтобы получить немного консервативную оценку производительности этой модели.

Однако обратите внимание, что LOOCV имеет высокую дисперсию (значение, которое вы получите, сильно варьируется, если вы используете другую случайную выборку данных), что часто делает его плохим выбором оценщика для оценки производительности, даже если он приблизительно беспристрастен. Я использую его все время для выбора модели, но на самом деле только потому, что это дешево (почти бесплатно для моделей ядра, над которыми я работаю).

Дикран Сумчатый
источник
Спасибо за ответ. Разве это не предложение «использовать LOO-CV, чтобы обеспечить слегка консервативную оценку производительности этой модели». неправильно это общий случай? Модель может ухудшиться, если я добавлю еще один пункт, в этом случае LOO-CV может быть. оптимистичная оценка
theomega
1
Чем больше данных вы используете для построения модели, тем лучше будет модель. Хотя дополнительное замечание может сделать модель немного хуже, более вероятно, что она будет немного лучше. Таким образом, в целом у loocv есть небольшое пессимистическое смещение, но оно очень незначительное, дисперсия оценки LOOCV обычно является гораздо более важным фактором.
Дикран Сумчатый
Что вы должны использовать для оценки производительности тогда? (Предполагая, что сбор данных стоит дорого, поэтому вы хотите использовать все доступные данные, чтобы соответствовать модели).
Сайд-шоу Боб
Бутстрап, наверное. Большинство моделей, которые я использую, имеют параметры регуляризации и т. Д., Которые необходимо настроить, поэтому я часто использую LOOCV для настройки моделей и начальной загрузки или повторного удержания для оценки производительности.
Дикран Сумчатый
@DikranMarsupial Вы уверены в том, что резюме Leave-One-Out обеспечивает пессимистический уклон? Насколько я знаю, он обычно дает более низкую оценку ошибки, чем K-Fold, например. Кроме того, LOOCV не имеет 0 дисперсии? Вы можете сделать LOOCV только один раз, затем «у вас закончились образцы». Единственное отклонение, о котором я могу подумать, - это те, которые создаются алгоритмами обучения, используемыми для соответствия модели. Но это должно быть дисперсией, связанной с дисперсией оптимальных параметров, а не с самой ошибкой модели. Спасибо.
D1X