Мне кажется, я понимаю, как работают основы самозагрузки , но я не уверен, что понимаю, как я могу использовать самозагрузку для выбора модели или чтобы избежать переобучения.
Например, для выбора модели вы бы просто выбрали модель, которая дает наименьшую ошибку (может быть, дисперсию?) Во всех выборках начальной загрузки?
Существуют ли какие-либо тексты, в которых обсуждается, как использовать начальную загрузку для выбора или проверки модели?
РЕДАКТИРОВАТЬ: см. Эту ветку, и ответ @ mark999 для большего контекста позади этого вопроса.
model-selection
cross-validation
bootstrap
Амелио Васкес-Рейна
источник
источник
Ответы:
Сначала вы должны решить, действительно ли вам нужен выбор модели, или вам просто нужно моделировать. В большинстве ситуаций, в зависимости от размерности, предпочтение отдается гибкой комплексной модели.
Начальная загрузка - отличный способ оценить производительность модели. Самая простая вещь для оценки - дисперсия. Более того, программа начальной загрузки может оценить вероятную будущую производительность данной процедуры моделирования на новых данных, которые еще не реализованы.
При использовании повторной выборки (начальной загрузки или перекрестной проверки) для выбора параметров настройки модели и для оценки модели вам потребуется двойная предварительная проверка или перекрестная проверка с вложением.
В общем случае для начальной загрузки требуется меньше подгонок модели (часто около 300), чем для перекрестной проверки (10-кратная перекрестная проверка должна повторяться 50-100 раз для стабильности).
Некоторые исследования моделирования могут быть найдены в http://biostat.mc.vanderbilt.edu/rms
источник
Подумайте об использовании начальной загрузки для усреднения модели .
Приведенный ниже документ может помочь, поскольку он сравнивает подход усреднения бутстраповой модели с (более часто используемым?) Усреднением байесовского моделирования и излагает рецепт для выполнения усреднения модели.
Усредненная модель начальной загрузки в исследованиях временных рядов загрязнения воздуха и взвешенных частиц
источник