Качественное кодирование переменных в регрессии приводит к «особенностям»

У меня есть независимая переменная под названием «качество»; эта переменная имеет 3 способа реагирования (плохое качество; среднее качество; высокое качество). Я хочу ввести эту независимую переменную в мою множественную линейную регрессию. Когда у меня есть двоичная независимая переменная (фиктивная переменная, я могу кодировать 0/ 1), ее легко ввести в модель множественной линейной регрессии.

Но с 3 способами ответа я попытался закодировать эту переменную следующим образом:

Bad quality      Medium quality      High quality

     0                1                  0
     1                0                  0
     0                0                  1
     0                1                  0

Но есть проблема, когда я пытаюсь сделать мою множественную линейную регрессию: модальность Medium qualityдает мне NA:

Coefficients: (1 not defined because of singularities) 

Как я могу закодировать эту переменную "качество" с 3 модальностями? Нужно ли создавать переменную как фактор ( factorв R), но тогда я могу ввести этот фактор в множественной линейной регрессии?

Проблема, с которой вы сталкиваетесь (т. Е. «Особенности»), может рассматриваться как пример мультиколлинеарности . Мультиколлинеарность часто определяется как:

Одна или несколько предикторных переменных являются линейной комбинацией других предикторных переменных.

Это, на самом деле, довольно строгое определение; это идеальная мультиколлинеарность, и вы можете легко столкнуться с проблемой мультиколлинеарности, если ни одна из ваших переменных не будет идеальной линейной комбинацией других. Более того, совершенная мультиколлинеарность встречается редко. Однако вы наткнулись на случай, когда это может произойти. Давайте посмотрим , как мы можем совершенно предсказать medium qualityиз наших знаний о двух других категорий (мы будем делать это с помощью регрессионной модели , где medium qualityесть , и & являются X 1 и X 2 , соответственно): Y = β 0 + β $Y$bad qualityhigh quality$X_1$$X_2$
Обратите внимание на то, что термин ошибки ε не указан, потому что мы можем предсказать это идеально. Для этого мы устанавливаем β 0 = 1 , β 1 = - 1 и β 2 = - 1 . Теперь, когда у вас есть, то X 1 = 1 , что сводит на нет β 0 (

$$Y = \beta_0 + \beta_1X_1 + \beta_2X_2$$ $\varepsilon$$\beta_0 = 1$$\beta_1 = -1$$\beta_2 = -1$bad quality$X_1=1$$\beta_0$ ) и X 2 = 0, так что член также удаляется ( - 1 × 0 ). Таким образом, мы остаемся с предсказанным значением 0 для Y (), что в точности верно. Я оставлю это вам на разработку других возможностей (в вашем случае это всегда работает). $1\; + \;-1\!\times\! 1$$X_2=0$$-1\times 0$$0$$Y$medium quality

$0$R , вы можете использовать factorиR сделаю все это для вас - это будет сделано правильно, и это намного удобнее - тем не менее, стоит понимать, что это то, что происходит «за кадром».

@gung четко объяснил теорию. Вот практический пример для иллюстрации:

set.seed(1)
pred1 <- factor(c("bad", "med", "high"), levels=c("bad", "med", "high"))
df1 <- data.frame(y=20*abs(runif(6)),
                  x=rnorm(6),
                  q=sample(pred1, 6, replace=TRUE)
                  )
l1 <- lm(y ~ x, data=df1)
### add variable q    
l2 <- lm(y ~ x + q, data=df1)
### look at dummy variables generated in creating model
model.matrix(l2)

$0$bad

  (Intercept)          x qmed qhigh
1           1  1.5952808    1     0
2           1  0.3295078    0     1
3           1 -0.8204684    0     1
4           1  0.4874291    0     0
5           1  0.7383247    1     0
6           1  0.5757814    0     0

Теперь, если мы сами кодируем фиктивные переменные и попытаемся подобрать модель, используя все из них:

df1 <- within(df1, {
       qbad <- ifelse(q=="bad", 1, 0)
       qmed <- ifelse(q=="med", 1, 0)
       qhigh <- ifelse(q=="high", 1, 0)
       })    
lm(y ~ x + qbad + qmed + qhigh, data=df1, singular.ok=FALSE)

Мы получаем ожидаемую ошибку: singular fit encountered