Получение знаний из случайного леса

Случайные леса считаются черными ящиками, но недавно я подумал, какие знания можно получить из случайного леса?

Наиболее очевидной вещью является важность переменных, в простейшем варианте это можно сделать, просто рассчитав количество вхождений переменной.
Второе, о чем я думал, это взаимодействие. Я думаю, что если количество деревьев достаточно велико, можно проверить количество вхождений пар переменных (что-то вроде независимости хи-квадрат). Третье - это нелинейности переменных. Моей первой идеей было просто посмотреть на график переменной Vs, но я пока не уверен, имеет ли это смысл.

Добавлено 23.01.2012
Мотивация

Я хочу использовать эти знания для улучшения модели логита. Я думаю (или, по крайней мере, я надеюсь), что можно найти взаимодействия и нелинейности, которые были упущены.

Случайные леса вряд ли являются черным ящиком. Они основаны на деревьях решений, которые очень легко интерпретировать:

#Setup a binary classification problem
require(randomForest)
data(iris)
set.seed(1)
dat <- iris
dat$Species <- factor(ifelse(dat$Species=='virginica','virginica','other'))
trainrows <- runif(nrow(dat)) > 0.3
train <- dat[trainrows,]
test <- dat[!trainrows,]

#Build a decision tree
require(rpart)
model.rpart <- rpart(Species~., train)

Это приводит к простому дереву решений:

> model.rpart
n= 111 

node), split, n, loss, yval, (yprob)
      * denotes terminal node

1) root 111 35 other (0.68468468 0.31531532)  
  2) Petal.Length< 4.95 77  3 other (0.96103896 0.03896104) *
  3) Petal.Length>=4.95 34  2 virginica (0.05882353 0.94117647) *

Если Petal.Length <4.95, это дерево классифицирует наблюдение как «другое». Если оно больше 4,95, оно классифицирует наблюдение как «virginica». Случайный лес - это просто набор из множества таких деревьев, каждое из которых обучается на случайном подмножестве данных. Затем каждое дерево «голосует» за окончательную классификацию каждого наблюдения.

model.rf <- randomForest(Species~., train, ntree=25, proximity=TRUE, importance=TRUE, nodesize=5)
> getTree(model.rf, k=1, labelVar=TRUE)
  left daughter right daughter    split var split point status prediction
1             2              3  Petal.Width        1.70      1       <NA>
2             4              5 Petal.Length        4.95      1       <NA>
3             6              7 Petal.Length        4.95      1       <NA>
4             0              0         <NA>        0.00     -1      other
5             0              0         <NA>        0.00     -1  virginica
6             0              0         <NA>        0.00     -1      other
7             0              0         <NA>        0.00     -1  virginica

Вы даже можете вытащить отдельные деревья из рф и посмотреть на их структуру. Формат немного отличается от rpartмоделей, но вы можете проверить каждое дерево, если хотите, и посмотреть, как оно моделирует данные.

Более того, ни одна модель действительно не является черным ящиком, потому что вы можете проверить прогнозируемые ответы и фактические ответы для каждой переменной в наборе данных. Это хорошая идея, независимо от того, какую модель вы строите:

library(ggplot2)
pSpecies <- predict(model.rf,test,'vote')[,2]
plotData <- lapply(names(test[,1:4]), function(x){
  out <- data.frame(
    var = x,
    type = c(rep('Actual',nrow(test)),rep('Predicted',nrow(test))),
    value = c(test[,x],test[,x]),
    species = c(as.numeric(test$Species)-1,pSpecies)
    )
  out$value <- out$value-min(out$value) #Normalize to [0,1]
  out$value <- out$value/max(out$value)
  out
})
plotData <- do.call(rbind,plotData)
qplot(value, species, data=plotData, facets = type ~ var, geom='smooth', span = 0.5)

Я нормализовал переменные (длина и ширина чашелистика и лепестка) в диапазоне 0-1. Ответ также 0-1, где 0 - другое, а 1 - virginica. Как видите, случайный лес - хорошая модель, даже на тестовом наборе.

Кроме того, случайный лес вычислит различную меру переменной важности, которая может быть очень информативной:

> importance(model.rf, type=1)
             MeanDecreaseAccuracy
Sepal.Length           0.28567162
Sepal.Width           -0.08584199
Petal.Length           0.64705819
Petal.Width            0.58176828

Эта таблица показывает, насколько удаление каждой переменной снижает точность модели. Наконец, есть много других графиков, которые вы можете сделать из модели случайного леса, чтобы посмотреть, что происходит в черном ящике:

plot(model.rf)
plot(margin(model.rf)) 
MDSplot(model.rf, iris$Species, k=5)
plot(outlier(model.rf), type="h", col=c("red", "green", "blue")[as.numeric(dat$Species)])

Вы можете просмотреть файлы справки для каждой из этих функций, чтобы лучше понять, что они отображают.

Некоторое время назад мне пришлось обосновать соответствие модели RF некоторым химикам в моей компании. Я потратил много времени, пробуя разные методы визуализации. В ходе этого процесса я также случайно придумал несколько новых методов, которые я поместил в пакет R ( forestFloor ) специально для визуализации случайных лесов.

Классическим подходом являются графики частичной зависимости, поддерживаемые: Rminer (анализ чувствительности на основе данных - это повторная частичная зависимость), или partPlot в пакете randomForest . Я считаю пакет с частичной зависимостью iceBOX элегантным способом обнаружения взаимодействий. Я не использовал пакет edarf , но, похоже, у него есть несколько прекрасных визуализаций, посвященных RF. Пакет ggRandomForest также содержит большой набор полезных визуализаций.

В настоящее время forestFloor поддерживает объекты randomForest (поддержка других реализаций RF уже доступна). Также вклады характеристик могут быть рассчитаны для деревьев с градиентным усилением, поскольку эти деревья после обучения мало чем отличаются от случайных лесных деревьев. Таким образом, forestFloor может поддерживать XGBoost в будущем. Графики частичной зависимости полностью модельно инвариантны.

Все пакеты имеют общее для визуализации геометрической структуры сопоставления модели из пространства признаков в пространство назначения. Кривая синуса y = sin (x) будет отображением от x до y и может быть построена в 2D. Для непосредственного построения RF-отображения часто требуется слишком много измерений. Вместо этого общая структура отображения может быть спроецирована, разрезана или разложена таким образом, что вся структура отображения сводится к последовательности 2D предельных графиков. Если ваша RF-модель имеет только основные эффекты и не взаимодействует между переменными, классические методы визуализации подойдут просто отлично. Тогда вы можете упростить структуру вашей модели следующим образом:$y = F(X) \approx f_1(x_1) + f_2(x_2) + ... + f_d(x_d)$, Тогда каждая частичная функция по каждой переменной может быть визуализирована как синусоида. Если ваша модель RF зафиксировала значительные взаимодействия, то это более проблематично. Трехмерные фрагменты структуры могут визуализировать взаимодействие между двумя элементами и выходными данными. Проблема состоит в том, чтобы знать, какую комбинацию функций визуализировать ( iceBOX действительно решает эту проблему). Также нелегко определить, не учитываются ли другие скрытые взаимодействия.

В этой статье я использовал очень раннюю версию forestFloor, чтобы объяснить, какие именно биохимические взаимосвязи были обнаружены очень маленькой радиочастотной моделью. И в этой статье мы подробно опишем визуализации возможностей, визуализации лесов на случайных лесах .

Я вставил смоделированный пример из пакета forestFloor, где я показываю, как раскрыть смоделированную скрытую функцию noise$y = {x_1}^2 + sin(x_2\pi) + 2 * x_3 * x_4 +$

#1 - Regression example:
set.seed(1234)
library(forestFloor)
library(randomForest)

#simulate data y = x1^2+sin(x2*pi)+x3*x4 + noise
obs = 5000 #how many observations/samples
vars = 6   #how many variables/features
#create 6 normal distr. uncorr. variables
X = data.frame(replicate(vars,rnorm(obs)))
#create target by hidden function
Y = with(X, X1^2 + sin(X2*pi) + 2 * X3 * X4 + 0.5 * rnorm(obs)) 

#grow a forest
rfo = randomForest(
  X, #features, data.frame or matrix. Recommended to name columns.
  Y, #targets, vector of integers or floats
  keep.inbag = TRUE,  # mandatory,
  importance = TRUE,  # recommended, else ordering by giniImpurity (unstable)
  sampsize = 1500 ,   # optional, reduce tree sizes to compute faster
  ntree = if(interactive()) 500 else 50 #speedup CRAN testing
)

#compute forestFloor object, often only 5-10% time of growing forest
ff = forestFloor(
  rf.fit = rfo,       # mandatory
  X = X,              # mandatory
  calc_np = FALSE,    # TRUE or FALSE both works, makes no difference
  binary_reg = FALSE  # takes no effect here when rfo$type="regression"
)


#plot partial functions of most important variables first
plot(ff,                       # forestFloor object
     plot_seq = 1:6,           # optional sequence of features to plot
     orderByImportance=TRUE    # if TRUE index sequence by importance, else by X column  
)

#Non interacting features are well displayed, whereas X3 and X4 are not
#by applying color gradient, interactions reveal themself 
#also a k-nearest neighbor fit is applied to evaluate goodness-of-fit
Col=fcol(ff,3,orderByImportance=FALSE) #create color gradient see help(fcol)
plot(ff,col=Col,plot_GOF=TRUE) 

#feature contributions of X3 and X4 are well explained in the context of X3 and X4
# as GOF R^2>.8


show3d(ff,3:4,col=Col,plot_GOF=TRUE,orderByImportance=FALSE)

Наконец, код для графиков частичной зависимости, закодированный A.Liaw, описанный J.Friedman. Что хорошо для основных эффектов.

par(mfrow=c(2,3))
for(i in 1:6) partialPlot(rfo,X,x.var=names(X)[i])

Чтобы дополнить эти прекрасные ответы, я бы упомянул использование деревьев с градиентным усилением (например, пакет GBM в R ). В R я предпочитаю это случайным лесам, потому что пропущенные значения допустимы по сравнению с randomForest, где требуется вменение. Имеются переменные значения и частичные графики (как в randomForest), помогающие в выборе объектов и исследовании нелинейных преобразований в вашей модели логита. Кроме того, взаимодействие с переменными решается с помощью H-статистики Фридмана ( interact.gbm) со ссылкой, заданной как J.H. Friedman and B.E. Popescu (2005). “Predictive Learning via Rule Ensembles.” Section 8.1. Коммерческая версия под названием TreeNet доступна от Salford Systems, и эта видеопрезентация рассказывает о том, как они оценивают переменное взаимодействие. Видео .

Поздний ответ, но я наткнулся на недавний пакет R forestFloor(2015), который помогает вам автоматически выполнять эту задачу «unblackboxing». Это выглядит очень многообещающе!

library(forestFloor)
library(randomForest)
#simulate data
obs=1000
vars = 18
X = data.frame(replicate(vars,rnorm(obs)))
Y = with(X, X1^2 + sin(X2*pi) + 2 * X3 * X4 + 1 * rnorm(obs))
#grow a forest, remeber to include inbag
rfo=randomForest(X,Y,keep.inbag = TRUE,sampsize=250,ntree=50)
#compute topology
ff = forestFloor(rfo,X)
#ggPlotForestFloor(ff,1:9)
plot(ff,1:9,col=fcol(ff))

Производит следующие участки:

Он также обеспечивает трехмерную визуализацию, если вы ищете взаимодействия.

Как упомянул Зак, один из способов понять модель - это построить ответ, когда предсказатели меняются. Вы можете сделать это легко для "любой" модели с пакетом plotmo R. Например

library(randomForest)
data <- iris
data$Species <- factor(ifelse(data$Species=='virginica','virginica','other'))
mod <- randomForest(Species~Sepal.Length+Sepal.Width, data=data)
library(plotmo)
plotmo(mod, type="prob")

который дает

Это изменяет одну переменную, в то время как другие сохраняют их медианные значения. Для графиков взаимодействия это меняет две переменные. (Примечание добавлено в ноябре 2016 года: plotmoтеперь также поддерживаются графики частичной зависимости.)

В приведенном выше примере используются только две переменные; более сложные модели можно визуализировать по частям, просматривая одну или две переменные одновременно. Поскольку «другие» переменные хранятся в своих медианных значениях, это показывает только часть данных, но все еще может быть полезным. Некоторые примеры приведены в виньетке для пакета plotmo . Другие примеры приведены в главе 10 « Построение деревьев rpart с помощью пакета rpart.plot» .

Я очень заинтересован в подобных вопросах. Я думаю, что есть много информации, которую мы можем получить из случайного леса.

Что касается взаимодействий, кажется, что Брейман и Культер уже пытались взглянуть на это, особенно для классификации RF.

Насколько мне известно, это не было реализовано в пакете randomForest R. Может быть, потому что это может быть не так просто и потому что значение «переменных взаимодействий» очень зависит от вашей проблемы.

Что касается нелинейности, я не уверен, что вы ищете, лес регрессии используется для нелинейных задач множественной регрессии без каких-либо априоров относительно того, какой тип нелинейной функции использовать.

Позднее в игре, но есть некоторые новые разработки в этой области, например LIME и SHAP . Также стоит проверить пакет DALEX (в частности, если используется R, но в любом случае он содержит отличные читы и т. Д.), Хотя в данный момент он не охватывает взаимодействия. И все это не зависит от модели, поэтому будет работать для случайных лесов, GBM, нейронных сетей и т. Д.

Небольшая модификация случайных лесов, которые предоставляют больше информации о данных, - это недавно разработанные методы причинно-следственных связей. Смотрите R-пакет GRF и мотивационную статью здесь . Идея состоит в том, чтобы использовать базовые методы случайного леса, чтобы найти неоднородность в причинных эффектах.

В более ранней статье ( здесь ) подробно описывается простой причинный лес. На странице 9 статьи приведена пошаговая процедура выращивания причинного дерева, которое затем можно распространить до леса обычными способами.

Уравнение 4:

Уравнение 5:

Поздний ответ связан с моим вопросом здесь ( Можем ли мы сделать Случайный Лес на 100% интерпретируемым, исправив начальное число? ):

$z_1$$z_2$

1. $z_1$$m$$D_1(z_1)$$D_2(z_1)$$D_3(z_1)$$D_m(z_1)$
2. $m$$T_1(z_1,z_2)$$T_2(z_1,z_2)$$T_3(z_1,z_2)$$T_m(z_1,z_2)$
3. ${j^\text{th}}_{(j=1,2,...,m)}$$x_i$$\hat{f}^j(x_i)_{(i \le n, j \le m)}$ $$\hat{F}(x_i) = > \frac{1}{m}\sum\limits_{j=1}^m \hat{f}^j(x_i)$$
4. $\hat{F}(x_i)$$(z_1,z_2)$$x'_i$
5. $x'_i$ $$x'_1 \rightarrow \hat{F}(x'_1) \text{ - which is fixed > thanks to $(z_1, z_2)$}$$ $$x'_2 \rightarrow \hat{F}(x'_2) \text{ - > which is fixed thanks to $(z_1, z_2)$}$$ $$x'_3 \rightarrow > \hat{F}(x'_3) \text{ - which is fixed thanks to $(z_1, z_2)$}$$ $$x'_4 > \rightarrow \hat{F}(x'_4) \text{ - which is fixed thanks to $(z_1, > z_2)$}$$ $$....$$
6. $x'_1$$x'_2$

Это работает также для всех методов ансамбля, основанных на агрегации деревьев.