Для нейронных сетей мы имеем универсальную теорему аппроксимации, которая утверждает, что нейронные сети могут аппроксимировать любую непрерывную функцию на компактном подмножестве .
Есть ли аналогичный результат для деревьев с градиентным усилением? Это кажется разумным, так как вы можете продолжать добавлять больше веток, но я не могу найти никакого официального обсуждения этой темы.
РЕДАКТИРОВАТЬ: мой вопрос, кажется, очень похож на Может ли деревья регрессии предсказывать непрерывно? хотя, возможно, не спрашиваю точно то же самое. Но посмотрите этот вопрос для соответствующего обсуждения.
decision-trees
Имран
источник
источник
Ответы:
Да - создать область для каждой точки данных (т. Е. Запомнить данные тренировки).
Таким образом, деревья с градиентным усилением могут соответствовать любым обучающим данным, но их обобщение будет ограничено новыми данными.
источник