Чем экстремальный случайный лес отличается от случайного леса?

18

Является ли ER более эффективной реализацией (что-то вроде Extreme Gradient Boostingповышения градиента) - важно ли различие с практической точки зрения? Существует пакет R, который их реализует. Это новый алгоритм, который преодолевает «универсальную» реализацию (пакет RandomForest от R) не только с точки зрения эффективности или также в некоторых других областях?

Экстремальный случайный лес http://link.springer.com/article/10.1007%2Fs10994-006-6226-1

Qbik
источник

Ответы:

20

Это довольно просто - RF оптимизирует расщепления на деревьях (т.е. выбирает те, которые дают наилучший выигрыш информации относительно решения), а ERF делает их случайным образом. Сейчас,

  • Оптимизация стоит (не сильно, но все же), поэтому ERF обычно быстрее.
  • Оптимизация может способствовать корреляции деревьев в ансамбле или общему переоснащению, поэтому ERF, вероятно, более устойчивы, особенно если сигнал слабый.

Продвигаясь еще дальше в этом направлении, вы можете получить дополнительную скорость, выровняв расщепления на каждом уровне дерева, таким образом превратив деревья в папоротники , что также довольно интересно; есть моя R реализация такого индивида.


источник
Ссылка не работает, используйте CVLAB: Папоротники
smci
Я предполагаю, что деревья, созданные ERF, намного больше, чем деревья RF, потому что RF использует оптимизацию, которая сжимает знания из набора данных в меньшие деревья
Qbik