Я бы сказал, что для повышения алгоритмов они развивались довольно хорошо. В начале 1995 года был представлен AdaBoost, затем через некоторое время это была Gradient Boosting Machine (GBM). Недавно, около 2015 года, был представлен XGBoost, который точен, справляется с переоснащением и стал победителем нескольких соревнований Kaggle. В 2017 году Microsoft представила LightGBM, она предлагает значительно меньшее время обучения по сравнению с XGBoost. Также CatBoost был представлен Яндексом для обработки категориальных функций.
Случайный Лес был введен в начале 2000-х годов, но были ли в нем достойные преемники? Я думаю, что если бы существовал лучший алгоритм упаковки, чем в Random Forest (который может быть легко применен на практике), он привлек бы некоторое внимание в таких местах, как Kaggle. Кроме того, почему бустинг стал более популярной техникой ансамбля, потому что вы можете построить меньше деревьев для оптимального предсказания?
источник
Ответы:
xgboost, catboost и lightgbm используют некоторые особенности случайного леса (случайная выборка переменных / наблюдений), поэтому я думаю, что они являются преемниками повышения и RF вместе, и получают лучшее из обоих. ;)
источник