Ресурсы для изучения того, как реализовать методы ансамбля

Я теоретически (вроде) понимаю, как они будут работать, но не уверен, как на самом деле использовать метод ансамбля (такой как голосование, взвешенные смеси и т. Д.).

• Каковы хорошие ресурсы для реализации методов ансамбля?
• Существуют ли какие-либо конкретные ресурсы относительно реализации в Python?

РЕДАКТИРОВАТЬ:

Чтобы прояснить некоторые из них, основываясь на обсуждении комментариев, я не ищу ансамблевые алгоритмы, такие как randomForest и т. Д. Вместо этого мне интересно, как можно объединить разные классификации из разных алгоритмов.

Например, скажем, кто-то использует логистическую регрессию, SVM и некоторые другие методы, чтобы предсказать класс определенного наблюдения. Каков наилучший способ получения наилучшей оценки класса на основе этих прогнозов?

Хорошее место для начала - получить представление об обучении ансамблю. Особенно вам захочется взглянуть на повышение и упаковку . Другой метод, который использовался командой «Ансамбль» в премии Netflix, называется либо «смешивание», либо набор функций .

Затем просто найдите несколько библиотек, которые реализуют их и работают оттуда. Быстрое прибегание к поиску включило scikit и оранжевый , оба из которых должны иметь мешки и повышение (и оба они Python).

Если, помимо использования ансамблевых методов, вам хотелось бы немного изучить теорию, то я думаю, что эта статья будет хорошей отправной точкой (следуйте ссылкам на интересующие вас части).

Приветствия.

«Методы ансамбля в интеллектуальном анализе данных: повышение точности за счет комбинирования прогнозов», Сени и старейшина - Отличный справочник по практической теории и реализации ансамбля, но сопровождающий код основан на R.

«Машинное обучение: Алгоритмическая перспектива», С. Марсланд - Отличный практический текст на основе Python, но не настолько посвященный чисто ансамблевым концепциям, как первая ссылка.

Ответ Стампи Джо Пита был идеальным, но так как вы упомянули о реализации Python, я хотел упомянуть проект brew от Universidade Federal de Pernambuco.

https://github.com/viisar/brew

from brew.base import Ensemble
from brew.base import EnsembleClassifier
from brew.combination import import Combiner

# create your Ensemble
clfs = your_list_of_classifiers # [clf1, clf2]
ens = Ensemble(classifiers = clfs)

# create your Combiner
# the rules can be 'majority_vote', 'max', 'min', 'mean' or 'median'
comb = Combiner(rule='majority_vote')

# now create your ensemble classifier
ensemble_clf = EnsembleClassifier(ensemble=ens, combiner=comb)
ensemble_clf.predict(X)

На этом этапе у них есть генерация ансамбля, комбинация, сокращение и динамический выбор.

Ограничения: только классификация; нет стека в текущей публичной версии; не много документации.

Salford Systems имеет пакет программного обеспечения под названием «Случайные леса», который реализует это для ансамблей дерева классификации и регрессии. У меня нет бесплатных пакетов R, чтобы предложить. Я предполагаю, что у них есть руководство пользователя, которое объяснит их реализацию. По аналогии вы, вероятно, могли бы выяснить, как это сделать для других методов ансамбля.

Я нашел этот урок, который был чрезвычайно полезным. Он не отвечает на все вопросы, но я думаю, что это хорошее начало для обсуждения: http://vikparuchuri.com/blog/intro-to-ensemble-learning-in-r/

Scikit-Learn ensembling руководство обеспечивает упаковки в пакеты и повышения мета-классификаторов и регрессоров. Кроме того, библиотека mlxtend предоставляет реализации метаклассификаторов стека и регрессоров.