Интуитивное объяснение алгоритма AdaBoost
Позвольте мне опираться на превосходный ответ @ Randel с иллюстрацией следующего пункта
- В Adaboost «недостатки» идентифицируются точками данных с большим весом
Резюме AdaBoost
Gm(x) m=1,2,...,M
G(x)=sign(α1G1(x)+α2G2(x)+...αMGM(x))=sign(∑m=1MαmGm(x))
AdaBoost на игрушечном примере
M=10
Визуализация последовательности слабых учеников и выборочных весов
m=1,2...,6
Первая итерация:
- Граница принятия решения очень проста (линейна), так как это ученики
- Все точки имеют одинаковый размер, как и ожидалось
- 6 синих точек находятся в красной области и неправильно классифицированы
Вторая итерация:
- Граница линейного решения изменилась
- Ранее неправильно классифицированные синие точки теперь больше (больше sample_weight) и влияют на границу решения
- 9 синих точек теперь неправильно классифицированы
Окончательный результат после 10 итераций
αm
([1,041, 0,875, 0,837, 0,781, 1,04, 0,938 ...
Как и ожидалось, первая итерация имеет самый большой коэффициент, поскольку она имеет наименьшее количество неправильных классификаций.
Следующие шаги
Интуитивное объяснение повышения градиента - будет завершено
Источники и дальнейшее чтение:
Ксавье Бурре Сикотт
источник