Есть ли способ использовать перекрестную проверку для выбора переменных / признаков в R?

У меня есть набор данных с около 70 переменных, которые я хотел бы сократить. Я хочу использовать CV, чтобы найти наиболее полезные переменные следующим образом.

1) Случайно выберите, скажем, 20 переменных.

2) Используйте stepwise/ LASSO/ lars/ etc для выбора наиболее важных переменных.

3) Повторите ~ 50x и посмотрите, какие переменные выбираются (не исключаются) чаще всего.

Это похоже на то, что randomForestбудет делать, но rfVarSelпакет, кажется, работает только для факторов / классификации, и мне нужно предсказать непрерывную зависимую переменную.

Я использую R, поэтому любые предложения в идеале будут реализованы там.

Я считаю, что то, что вы описываете, уже реализовано в caretпакете. Посмотрите на rfeфункцию или виньетка здесь: http://cran.r-project.org/web/packages/caret/vignettes/caretSelection.pdf

Сказав это, зачем вам сокращать количество функций? С 70 до 20 на самом деле не уменьшение на порядок. Я думаю, вам понадобится более 70 функций, прежде чем вы будете твердо уверены, что некоторые функции действительно и не имеют значения. Но опять же, вот где субъективный априор приходит, я полагаю.

Нет причины, по которой частота выбора переменных предоставляет информацию, которую вы еще не получили из очевидного значения переменных в исходной модели. По сути это повтор первоначальной статистической значимости. вы также добавляете новый уровень произвола, когда пытаетесь выбрать частоту выбора. Выбор переменных при повторной выборке сильно повреждается коллинеарностью в дополнение к другим проблемам.

Я пересмотрел свой ответ ранее сегодня. Теперь я сгенерировал некоторые примеры данных для запуска кода. Другие справедливо предложили вам изучить использование пакета карет, с которым я согласен. Однако в некоторых случаях вам может понадобиться написать собственный код. Ниже я попытался продемонстрировать, как использовать функцию sample () в R, чтобы случайным образом назначать наблюдения для перекрестных проверок. Я также использую циклы for, чтобы выполнить предварительный выбор переменной (используя одномерную линейную регрессию с минимальным значением p, равным 0,1) и построение модели (используя ступенчатую регрессию) для десяти обучающих наборов. Затем вы можете написать свой собственный код, чтобы применить полученные модели к сгибам проверки. Надеюсь это поможет!

################################################################################
## Load the MASS library, which contains the "stepAIC" function for performing
## stepwise regression, to be used later in this script
library(MASS)
################################################################################


################################################################################
## Generate example data, with 100 observations (rows), 70 variables (columns 1
## to 70), and a continuous dependent variable (column 71)
Data <- NULL
Data <- as.data.frame(Data)

for (i in 1:71) {
for (j in 1:100) {
Data[j,i]  <- rnorm(1) }}

names(Data)[71] <- "Dependent"
################################################################################


################################################################################
## Create ten folds for cross-validation. Each observation in your data will
## randomly be assigned to one of ten folds.
Data$Fold <- sample(c(rep(1:10,10)))

## Each fold will have the same number of observations assigned to it. You can
## double check this by typing the following:
table(Data$Fold)

## Note: If you were to have 105 observations instead of 100, you could instead
## write: Data$Fold <- sample(c(rep(1:10,10),rep(1:5,1)))
################################################################################


################################################################################
## I like to use a "for loop" for cross-validation. Here, prior to beginning my
## "for loop", I will define the variables I plan to use in it. You have to do
## this first or R will give you an error code.
fit <- NULL
stepw <- NULL
training <- NULL
testing <- NULL
Preselection <- NULL
Selected <- NULL
variables <- NULL
################################################################################


################################################################################
## Now we can begin the ten-fold cross validation. First, we open the "for loop"
for (CV in 1:10) {

## Now we define your training and testing folds. I like to store these data in
## a list, so at the end of the script, if I want to, I can go back and look at
## the observations in each individual fold
training[[CV]] <- Data[which(Data$Fold != CV),]
testing[[CV]]  <- Data[which(Data$Fold == CV),]

## We can preselect variables by analyzing each variable separately using
## univariate linear regression and then ranking them by p value. First we will
## define the container object to which we plan to output these data.
Preselection[[CV]] <- as.data.frame(Preselection[CV])

## Now we will run a separate linear regression for each of our 70 variables.
## We will store the variable name and the coefficient p value in our object
## called "Preselection".
for (i in 1:70) {
Preselection[[CV]][i,1]  <- i
Preselection[[CV]][i,2]  <- summary(lm(Dependent ~ training[[CV]][,i] , data = training[[CV]]))$coefficients[2,4]
}

## Now we will remove "i" and also we will name the columns of our new object.
rm(i)
names(Preselection[[CV]]) <- c("Variable", "pValue")

## Now we will make note of those variables whose p values were less than 0.1.
Selected[[CV]] <- Preselection[[CV]][which(Preselection[[CV]]$pValue <= 0.1),] ; row.names(Selected[[CV]]) <- NULL

## Fit a model using the pre-selected variables to the training fold
## First we must save the variable names as a character string
temp <- NULL
for (k in 1:(as.numeric(length(Selected[[CV]]$Variable)))) {
temp[k] <- paste("training[[CV]]$V",Selected[[CV]]$Variable[k]," + ",sep="")}
variables[[CV]] <- paste(temp, collapse = "")
variables[[CV]] <- substr(variables[[CV]],1,(nchar(variables[[CV]])-3))

## Now we can use this string as the independent variables list in our model
y <- training[[CV]][,"Dependent"]
form <- as.formula(paste("y ~", variables[[CV]]))

## We can build a model using all of the pre-selected variables
fit[[CV]] <- lm(form, training[[CV]])

## Then we can build new models using stepwise removal of these variables using
## the MASS package
stepw[[CV]] <- stepAIC(fit[[CV]], direction="both")

## End for loop
}

## Now you have your ten training and validation sets saved as training[[CV]]
## and testing[[CV]]. You also have results from your univariate pre-selection
## analyses saved as Preselection[[CV]]. Those variables that had p values less
## than 0.1 are saved in Selected[[CV]]. Models built using these variables are
## saved in fit[[CV]]. Reduced versions of these models (by stepwise selection)
## are saved in stepw[[CV]].

## Now you might consider using the predict.lm function from the stats package
## to apply your ten models to their corresponding validation folds. You then
## could look at the performance of the ten models and average their performance
## statistics together to get an overall idea of how well your data predict the
## outcome.
################################################################################

Перед выполнением перекрестной проверки важно прочитать о ее правильном использовании. Эти две ссылки предлагают отличные обсуждения перекрестной проверки:

1. Саймон Р.М., Субраманян Дж., Ли М.К., Менезес С. Использование перекрестной проверки для оценки точности прогнозирования классификаторов риска выживания на основе многомерных данных. Краткая Биоинформ. 2011 май; 12 (3): 203-14. Epub 2011 15 февраля. Http://bib.oxfordjournals.org/content/12/3/203.long
2. Ричард Саймон, Майкл Д. Радмахер, Кевин Доббин и Лиза М. МакШейн. Подводные камни в использовании данных микрочипов ДНК для диагностической и прогностической классификации. JNCI J. Natl Cancer Inst (2003) 95 (1): 14-18. http://jnci.oxfordjournals.org/content/95/1/14.long

Эти документы предназначены для биостатистов, но были бы полезны для всех.

Кроме того, всегда имейте в виду, что использование ступенчатой ​​регрессии опасно (хотя использование перекрестной проверки должно помочь облегчить переоснащение). Хорошее обсуждение поэтапной регрессии доступно здесь: http://www.stata.com/support/faqs/stat/stepwise.html .

Дайте мне знать, если у вас есть дополнительные вопросы!

Я только что нашел что-то хорошее здесь: http://cran.r-project.org/web/packages/Causata/vignettes/Causata-vignette.pdf

Попробуйте это возможно при использовании пакета glmnet

# extract nonzero coefficients
coefs.all <- as.matrix(coef(cv.glmnet.obj, s="lambda.min"))
idx <- as.vector(abs(coefs.all) > 0)
coefs.nonzero <- as.matrix(coefs.all[idx])
rownames(coefs.nonzero) <- rownames(coefs.all)[idx]