Точность градиентной машины уменьшается с увеличением числа итераций

Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R.

Используя небольшой набор данных для поступления в колледж, я запустил следующий код:

library(caret)

### Load admissions dataset. ###
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

### Create yes/no levels for admission. ### 
mydata$admit_factor[mydata$admit==0] <- "no"
mydata$admit_factor[mydata$admit==1] <- "yes"             

### Gradient boosting machine algorithm. ###
set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

и обнаружил, к моему удивлению, что точность перекрестной проверки модели уменьшилась, а не увеличилась, так как количество увеличивающих итераций увеличилось, достигнув минимальной точности около .59 при ~ 450 000 итераций.

Я неправильно реализовал алгоритм GBM?

РЕДАКТИРОВАТЬ: Следуя предложению Underminer, я перезапустил приведенный выше caretкод, но сосредоточился на выполнении от 100 до 5000 повышающих итераций:

set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(100,5000,100), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

Полученный график показывает, что точность на самом деле достигает максимума при 0,705 при ~ 1800 итерациях:

Любопытно, что точность не достигла плато в ~ 0,70, а снизилась после 5000 итераций.

В целом, ошибка повышения может увеличиваться с увеличением числа итераций, особенно когда данные зашумлены (например, неправильно маркированные случаи). Это может быть вашей проблемой, но я не смог бы сказать, не зная больше о ваших данных

По сути, повышение может «сфокусироваться» на правильном прогнозировании случаев, которые содержат дезинформацию, и в процессе ухудшить среднюю производительность в других случаях, которые являются более существенными.

Эта ссылка ( Boosting and Noise ) показывает лучшее описание проблемы, чем я могу предоставить.

Эта статья ( Случайный классификационный шум ) от Long и Servedio содержит более подробную техническую информацию о проблеме.

То, что вы показали, является классическим примером переоснащения. Небольшое увеличение ошибки происходит из-за худшей производительности в части проверки вашего набора перекрестных проверок данных. Большее количество итераций почти всегда должно исправлять ошибку в обучающем наборе, но для набора проверки / проверки верно обратное.

Коды для воспроизведения аналогичного результата, без поиска по сетке,

mod = gbm(admit ~ .,
      data = mydata[,-5],
      n.trees=100000,
      shrinkage=0.001,
      interaction.depth=2,
      n.minobsinnode=10,
      cv.folds=5,
      verbose=TRUE,
      n.cores=2)

best.iter <- gbm.perf(mod, method="OOB", plot.it=TRUE, oobag.curve=TRUE, overlay=TRUE)
print(best.iter)
[1] 1487
pred = as.integer(predict(mod, newdata=mydata[,-5], n.trees=best.iter) > 0)
y = mydata[,1]
sum(pred == y)/length(y)
[1] 0.7225

В пакете gbm есть функция для оценки оптимального количества итераций (= количество деревьев или количество базисных функций),

gbm.perf(mod, method="OOB", plot.it=TRUE, oobag=TRUE, overlay=TRUE)

Вам не нужен поезд кареты для этого.