Почему бы не всегда использовать ансамблевое обучение?

13

Мне кажется, что ансамблевое обучение всегда даст лучшую прогностическую эффективность, чем с одной гипотезой обучения.

Итак, почему бы нам не использовать их все время?

Я думаю, возможно, из-за вычислительных ограничений? (даже тогда мы используем слабые предикторы, поэтому я не знаю).

boosting ensemble bagging jpmuc
источник
2
Потому что ансамблевое обучение не всегда дает лучшую производительность. И мешки, и бустинг работают в некоторых случаях, но могут серьезно ухудшить производительность в других.
Марк Клазен

Ответы:

12

В целом это не правда, что он всегда будет работать лучше. Существует несколько методов ансамбля, каждый из которых имеет свои преимущества и недостатки. Какой из них использовать, а затем зависит от имеющейся проблемы.

Например, если у вас есть модели с высокой дисперсией (они превышают ваши данные), то вы, вероятно, выиграете от использования упаковки. Если у вас есть предвзятые модели, лучше сочетать их с Boosting. Существуют также разные стратегии формирования ансамблей. Тема слишком широка, чтобы охватить ее одним ответом.

Но моя точка зрения такова: если вы используете неправильный метод ансамбля для своих настроек, вы не добьетесь большего успеха. Например, использование Bagging с предвзятой моделью не поможет.

Кроме того, если вам нужно работать в вероятностной обстановке, ансамблевые методы также могут не работать. Как известно , что Активизации (в его наиболее популярных формах , таких как AdaBoost) обеспечивает плохие оценки вероятности. То есть, если вы хотите иметь модель, которая позволяет вам рассуждать о ваших данных, а не только о классификации, вам лучше использовать графическую модель.

jpmuc
источник
Пень решения является предвзятым, но они были успешно использованы с мешками.
да, но ансамбль все еще предвзят. Что если смещение действительно является проблемой? Bagging не поможет исправить это. Не могли бы вы добавить ссылку на тот случай, который вы упомянули?
jpmuc