Как случайный лес генерирует случайный лес

20

Я не эксперт по случайным лесам, но я четко понимаю, что ключевая проблема со случайным лесом - это (случайное) генерирование деревьев. Можете ли вы объяснить мне, как создаются деревья? (т.е. что такое используемый дистрибутив для генерации дерева?)

Заранее спасибо !

Робин Жирар
источник

Ответы:

16

Реализации РФ отличаются незначительно. Я знаю, что запатентованная реализация Salford Systems должна быть лучше, чем ванильная в R. Описание алгоритма приведено в ESL Фридманом-Хасти-Тибширани, 2-е издание, 3-е издание . Целая глава (15-я) посвящена RF, и я нахожу это на самом деле более ясным, чем оригинальная статья. Алгоритм построения дерева подробно описан на с.588; Мне не нужно воспроизводить это здесь, так как книга доступна онлайн.

с промежутками
источник
Большое спасибо за ваш ответ ! Я читал эту книгу с первой до последней страницы, но я думаю, что это было издание 1 ... Я не знал, что это было доступно онлайн.
Робин Жирар
19

Основная идея заключается в процедуре упаковки, а не в том, чтобы деревья были случайными. Подробно каждое дерево построено на выборке объектов, нарисованных с заменой из исходного набора; таким образом, у каждого дерева есть некоторые объекты, которые он не видел, что делает весь ансамбль более разнородным и, следовательно, лучше обобщающим.

Кроме того, деревья ослабляются таким образом, что на каждом разбиении mtryучитываются только M (или ) случайно выбранных атрибутов; M обычно является квадратным корнем числа атрибутов в наборе. Это гарантирует, что деревья меньше перегружены, так как они не обрезаны. Вы можете найти более подробную информацию здесь .

С другой стороны, существует вариант RF под названием Extreme Random Forest, в котором деревья создаются случайным образом (оптимизация разбиений отсутствует) - обратитесь, я думаю, к этой ссылке .

Амелио Васкес-Рейна
источник
Извините, но я не очень понимаю ваш ответ. Что вы подразумеваете под «В деталях, каждое дерево построено на образце объектов, нарисованных с заменой из исходного набора». Можете ли вы дать более точную информацию о том, где я нахожу детали «здесь»?
Робин Жирар
1
Вот как работает упаковка; проверьте en.wikipedia.org/wiki/Bootstrap_aggregating . Вот ссылка (едва заметная в этой теме, которую я признаю) на подробную ссылку на радиочастотную информацию.