Случайный лес против Adaboost

10

В разделе 7 статьи « Случайные леса» (Брейман, 1999) автор высказывает следующую гипотезу: «Adaboost - это случайный лес».

Кто-нибудь доказал или опроверг это? Что было сделано, чтобы доказать или опровергнуть этот пост 1999 года?

machine-learning random-forest boosting Alex
источник
Пожалуйста, прочитайте stats.stackexchange.com/questions/77018/… Возможно, вы найдете там свой ответ
@ user75008 Спасибо! Итак, в разделе 7 представлена ​​еще одна гипотеза, такая, что, если она доказана, показывает, что adaboost эквивалентен случайному лесу. Кто-нибудь показал эту гипотезу, чтобы быть правдой?
Алекс
@ user75008 Я читаю вашу ссылку stats.stackexchange.com/questions/77018/… Как вы думаете, предполагает ли это, что Adaboost не эквивалентен Random Forest?
Алекс

Ответы:

3

Интересный вопрос. С тех пор была проделана большая работа по объяснению повышения Ада с помощью нескольких различных тактик.

Я сделал быстрый поиск литературы, и эта несколько странная статья, кажется, самая последняя на эту тему, а также рецензирует множество промежуточных работ Бримена и других:

http://arxiv.org/pdf/1212.1108.pdf

Я понятия не имею, верны ли их результаты, но они утверждают, что не смогли доказать гипотезу Бримена, но доказали ее ослабленную версию, утверждая, что adaboost сохраняет меру, но не обязательно эргодичен.

Они также представляют некоторые эмпирические доказательства того, что adaboost действительно иногда переоценивают.

Я думаю, это говорит о том, что adaboost может быть связан со случайным лесом, но не полностью (или не всегда) эквивалентен тому, как предположил Бриман?

Райан Бресслер
источник
спасибо, так что я думаю, что это все еще открытый вопрос, но ваше последнее заявление говорит.
Алекс
1
Да, я думаю, что это все еще открыто. Я также думаю, что интерес к анализу AdaBoost снизился, поскольку [стохастические] машины повышения градиента стали более популярными. AdaBoost - это форма градиентного спуска ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ), и мышление в терминах явно рандомизированного градиентного спуска может быть более интуитивным и более практичным, чем предложенная Бриманом эквивалентность. (То есть, даже если бы это было правдой, на практике может быть очень сложно выбрать нужный дистрибутив.)
Райан Бресслер
Я только что видел эту новую статью на эту тему: arxiv.org/pdf/1504.07676v1.pdf
Райан Бресслер,
Очень интересно, если правда! «Мы заключаем, что бустинг должен использоваться как случайные леса: с большими деревьями решений и без прямой регуляризации или ранней остановки».
Алекс