Вопросы с тегом «gbm»

Семейство алгоритмов, объединяющих модели со слабым прогнозированием в модель с сильным прогнозированием. Наиболее распространенный подход называется повышением градиента, а наиболее часто используемыми слабыми моделями являются деревья классификации / регрессии.

48
Интуитивно понятные объяснения различий между Gradient Boosting Trees (GBM) и Adaboost

Я пытаюсь понять разницу между GBM и Adaboost. Вот что я понял до сих пор: Существуют оба алгоритма повышения, которые учатся на ошибках предыдущей модели и, наконец, составляют взвешенную сумму моделей. GBM и Adaboost очень похожи, за исключением функций потери. Но мне все еще трудно понять идею...

30
Что означает глубина взаимодействия в GBM?

У меня был вопрос о параметре глубины взаимодействия в gbm в R. Это может быть вопрос noob, за который я прошу прощения, но как параметр, который, я считаю, обозначает количество терминальных узлов в дереве, в основном указывает X-way взаимодействие между предикторами? Просто пытаюсь понять, как...

21
Роль n.minobsinnode параметра GBM в R [закрыто]

Этот вопрос вряд ли поможет будущим посетителям; это относится только к небольшому географическому региону, конкретному моменту времени или необычайно узкой ситуации, которая обычно не применима к всемирной аудитории Интернета. Чтобы сделать этот вопрос более применимым, посетите справочный центр...

20
XGBoost и Python Sklearn повышают градиент деревьев

Я пытаюсь понять, как работает XGBoost. Я уже понимаю, как деревья с градиентным ускорением работают на Python sklearn. Что мне не ясно, так это то, работает ли XGBoost таким же образом, но быстрее, или если между ним и реализацией python есть фундаментальные различия. Когда я читаю эту статью...

16
Страдает ли классификация GBM несбалансированными размерами классов?

Я имею дело с контролируемой проблемой бинарной классификации. Я хотел бы использовать пакет GBM для классификации людей как незараженных / зараженных. У меня в 15 раз больше незараженных, чем у инфицированных. Мне было интересно, страдают ли модели GBM в случае несбалансированных размеров классов?...

15
Точность градиентной машины уменьшается с увеличением числа итераций

Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create...

14
Интервалы прогнозирования для алгоритмов машинного обучения

Я хочу знать, является ли процесс, описанный ниже, действительным / приемлемым и доступно ли любое обоснование. Идея: контролируемые алгоритмы обучения не предполагают базовых структур / распределений данных. В конце дня они выводят точечные оценки. Я надеюсь как-то количественно оценить...

13
Пакет GBM против Карет с использованием GBM

Я занимался настройкой модели caret, но затем перезапустил модель, используя gbmпакет. Насколько я понимаю, caretпакет использует gbmи вывод должен быть одинаковым. Тем не менее, только быстрый запуск теста data(iris)показывает несоответствие в модели около 5% с использованием RMSE и R ^ 2 в...

12
Как найти интервал прогнозирования GBM

Я работаю с моделями GBM, используя пакет caret, и ищу способ решить интервалы прогнозирования для моих прогнозируемых данных. Я много искал, но выдвинул лишь несколько идей, чтобы найти интервалы прогнозирования для Случайного леса. Любая помощь / R код будет принята с...

11
Как выбрать количество деревьев в обобщенной регрессионной модели?

Есть ли стратегия выбора количества деревьев в GBM? В частности, ntreesаргумент в R«S gbmфункции. Я не понимаю, почему вы не должны устанавливать ntreesмаксимально разумное значение. Я заметил, что большее количество деревьев явно уменьшает изменчивость результатов от нескольких GBM. Я не думаю,...

9
Как использовать R gbm с distribution = «adaboost»?

Документация утверждает, что R gbm с distribution = "adaboost" может использоваться для задачи классификации 0-1. Рассмотрим следующий фрагмент кода: gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000) gbm_predicted <- predict(gbm_algorithm,...

9
Как найти оптимальные значения параметров настройки в бустинге деревьев?

Я понимаю, что в модели деревьев повышения есть 3 параметра настройки, т.е. количество деревьев (количество итераций) параметр усадки количество разбиений (размер каждого составляющего дерева) У меня вопрос: для каждого из параметров настройки, как мне найти его оптимальное значение? А какой метод?...

9
Согласование деревьев ускоренной регрессии (BRT), обобщенных расширенных моделей (GBM) и машины повышения градиента (GBM)

Вопросов: В чем разница (ы) между деревьями регрессионного усиления (BRT) и обобщенными моделями (GBM)? Могут ли они быть взаимозаменяемыми? Является ли одна конкретная форма другой? Почему Риджуэй использовал фразу «Обобщенные модели ускоренной регрессии» (GBM), чтобы описать то, что Фридман ранее...