Преобразовать код SAS NLMIXED для ноль-завышенной гамма-регрессии в R

11

Я пытаюсь запустить регрессию с нулевым раздувом для переменной с непрерывным откликом в R. Я знаю о реализации gamlss, но я действительно хотел бы попробовать этот алгоритм Дейла Маклеррана, который концептуально немного более прост. К сожалению, код находится в SAS, и я не уверен, как переписать его для чего-то вроде nlme.

Код выглядит следующим образом:

proc nlmixed data=mydata;
  parms b0_f=0 b1_f=0 
        b0_h=0 b1_h=0 
        log_theta=0;


  eta_f = b0_f + b1_f*x1 ;
  p_yEQ0 = 1 / (1 + exp(-eta_f));


  eta_h = b0_h + b1_h*x1;
  mu    = exp(eta_h);
  theta = exp(log_theta);
  r = mu/theta;


  if y=0 then
     ll = log(p_yEQ0);
  else
     ll = log(1 - p_yEQ0)
          - lgamma(theta) + (theta-1)*log(y) - theta*log(r) - y/r;


  model y ~ general(ll);
  predict (1 - p_yEQ0)*mu out=expect_zig;
  predict r out=shape;
  estimate "scale" theta;
run;

От: http://listserv.uga.edu/cgi-bin/wa?A2=ind0805A&L=sas-l&P=R20779

ДОБАВИТЬ:

Примечание: здесь нет смешанных эффектов - только исправлено.

Преимущество этой подгонки состоит в том, что (хотя коэффициенты такие же, как если бы вы отдельно подгоняли логистическую регрессию к P (y = 0) и регрессию гамма-ошибок с лог-ссылкой на E (y | y> 0)), вы можете оценить объединенную функцию E (y), которая включает в себя нули. Можно предсказать это значение в SAS (с CI), используя линию predict (1 - p_yEQ0)*mu.

Кроме того, можно написать собственные контрастные операторы, чтобы проверить значимость предикторных переменных на E (y). Например, вот еще одна версия кода SAS, которую я использовал:

proc nlmixed data=TestZIG;
      parms b0_f=0 b1_f=0 b2_f=0 b3_f=0
            b0_h=0 b1_h=0 b2_h=0 b3_h=0
            log_theta=0;


        if gifts = 1 then x1=1; else x1 =0;
        if gifts = 2 then x2=1; else x2 =0;
        if gifts = 3 then x3=1; else x3 =0;


      eta_f = b0_f + b1_f*x1 + b2_f*x2 + b3_f*x3;
      p_yEQ0 = 1 / (1 + exp(-eta_f));

      eta_h = b0_h + b1_h*x1 + b2_h*x2 + b3_h*x3;
      mu    = exp(eta_h);
      theta = exp(log_theta);
      r = mu/theta;

      if amount=0 then
         ll = log(p_yEQ0);
      else
         ll = log(1 - p_yEQ0)
              - lgamma(theta) + (theta-1)*log(amount) -                      theta*log(r) - amount/r;

      model amount ~ general(ll);
      predict (1 - p_yEQ0)*mu out=expect_zig;
      estimate "scale" theta;
    run; 

Затем, чтобы оценить «подарок1» против «подарок2» (b1 против b2), мы можем написать это утверждение:

estimate "gift1 versus gift 2" 
 (1-(1 / (1 + exp(-b0_f -b1_f))))*(exp(b0_h + b1_h)) - (1-(1 / (1 + exp(-b0_f -b2_f))))*(exp(b0_h + b2_h)) ; 

Может ли R сделать это?

a11msp
источник
2
user779747 отметил в своей кросс-публикации в Rhelp, что это было опубликовано здесь в первую очередь. Я не видел конкретного запроса на публикацию такого уведомления в SO, но некоторые (большинство?) Из нас, кросс-помощников, ожидают этого, потому что это заявленное ожидание в списках рассылки R.
DWin

Ответы:

9

Потратив некоторое время на этот код, мне кажется, что он в основном:

1) выполняет ли логистическую регрессию с правой стороны b0_f + b1_f*x1и y > 0в качестве целевой переменной,

2) Для тех наблюдений, для которых y> 0, выполняется регрессия с правой стороны b0_h + b1_h*x1, гамма-вероятность и link=log,

3) Также оценивается параметр формы гамма-распределения.

Это максимизирует вероятность совместно, что приятно, потому что вам нужно сделать только один вызов функции. Однако вероятность в любом случае разделяется, поэтому в результате вы не получите улучшенных оценок параметров.

Вот некоторый R-код, который использует glmфункцию для экономии усилий при программировании. Это может быть не то, что вам нужно, поскольку это затеняет сам алгоритм. Код, конечно, не так чист, как мог / должен быть.

McLerran <- function(y, x)
{
  z <- y > 0
  y.gt.0 <- y[y>0]
  x.gt.0 <- x[y>0]

  m1 <- glm(z~x, family=binomial)
  m2 <- glm(y.gt.0~x.gt.0, family=Gamma(link=log))

  list("p.ygt0"=m1,"ygt0"=m2)
}

# Sample data
x <- runif(100)
y <- rgamma(100, 3, 1)      # Not a function of x (coef. of x = 0)
b <- rbinom(100, 1, 0.5*x)  # p(y==0) is a function of x
y[b==1] <- 0

foo <- McLerran(y,x)
summary(foo$ygt0)

Call:
glm(formula = y.gt.0 ~ x.gt.0, family = Gamma(link = log))

Deviance Residuals: 
     Min        1Q    Median        3Q       Max  
-2.08888  -0.44446  -0.06589   0.28111   1.31066  

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   1.2033     0.1377   8.737 1.44e-12 ***
x.gt.0       -0.2440     0.2352  -1.037    0.303    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

(Dispersion parameter for Gamma family taken to be 0.3448334)

    Null deviance: 26.675  on 66  degrees of freedom
Residual deviance: 26.280  on 65  degrees of freedom
AIC: 256.42

Number of Fisher Scoring iterations: 6

Параметр формы для гамма-распределения равен 1 / параметр дисперсии для гамма-семейства. Коэффициенты и другие элементы, к которым вы могли бы получить программный доступ, могут быть доступны в отдельных элементах списка возвращаемых значений:

> coefficients(foo$p.ygt0)
(Intercept)           x 
   2.140239   -2.393388 

Прогнозирование может быть выполнено с использованием результатов процедуры. Вот еще немного кода R, который показывает, как генерировать ожидаемые значения, и некоторую другую информацию:

# Predict expected value
predict.McLerren <- function(model, x.new)
{
  x <- as.data.frame(x.new)
  colnames(x) <- "x"
  x$x.gt.0 <- x$x

  pred.p.ygt0 <- predict(model$p.ygt0, newdata=x, type="response", se.fit=TRUE)
  pred.ygt0 <- predict(model$ygt0, newdata=x, type="response", se.fit=TRUE)  

  p0 <- 1 - pred.p.ygt0$fit
  ev <- (1-p0) * pred.ygt0$fit

  se.p0 <- pred.p.ygt0$se.fit
  se.ev <- pred.ygt0$se.fit

  se.fit <- sqrt(((1-p0)*se.ev)^2 + (ev*se.p0)^2 + (se.p0*se.ev)^2)

  list("fit"=ev, "p0"=p0, "se.fit" = se.fit,
       "pred.p.ygt0"=pred.p.ygt0, "pred.ygt0"=pred.ygt0)
}

И пример прогона:

> x.new <- seq(0.05,0.95,length=5)
> 
> foo.pred <- predict.McLerren(foo, x.new)
> foo.pred$fit
       1        2        3        4        5 
2.408946 2.333231 2.201889 2.009979 1.763201 
> foo.pred$se.fit
        1         2         3         4         5 
0.3409576 0.2378386 0.1753987 0.2022401 0.2785045 
> foo.pred$p0
        1         2         3         4         5 
0.1205351 0.1733806 0.2429933 0.3294175 0.4291541 

Теперь для извлечения коэффициентов и контрастов:

coef.McLerren <- function(model)
{
  temp1 <- coefficients(model$p.ygt0)
  temp2 <- coefficients(model$ygt0)
  names(temp1) <- NULL
  names(temp2) <- NULL
  retval <- c(temp1, temp2)
  names(retval) <- c("b0.f","b1.f","b0.h","b1.h")
  retval
}

contrast.McLerren <- function(b0_f, b1_f, b2_f, b0_h, b1_h, b2_h)
{
  (1-(1 / (1 + exp(-b0_f -b1_f))))*(exp(b0_h + b1_h)) - (1-(1 / (1 + exp(-b0_f -b2_f))))*(exp(b0_h + b2_h))
}


> coef.McLerren(foo)
      b0.f       b1.f       b0.h       b1.h 
 2.0819321 -1.8911883  1.0009568  0.1334845 
jbowman
источник
2
Вы правы в отношении того, что происходит с «частями» (т. Е. Логит-регрессия для PR (y> 0) и гамма-регрессия для E (y | y> 0), но это комбинированная оценка (и стандартные ошибки, CI) которые представляют основной интерес - то есть E (y). Предсказания этой величины делаются в коде SAS с помощью (1 - p_yEQ0) * mu. Эта формулировка позволяет проводить контрасты по коэффициентам для этого объединенного значения.
B_Miner
@B_Miner - я добавил несколько примеров кода +, которые частично решают проблему предсказания, спасибо за указание на это.
jbowman
Разве это не просто отдельные оценки? В SAS NLMIXED даст возможность оценить точечную оценку E (y), а также CI (используя дельта-метод, который я считаю). Кроме того, вы можете написать пользовательские контрасты параметров, как я показал выше, чтобы проверить линейную гипотезу. Должна быть альтернатива R?
B_Miner
Ну да и нет. Чтобы использовать пример, возвращаемое foo.pred$fitдает точечную оценку E (y), но компонент foo.pred$pred.ygt0$predдаст вам E (y | y> 0). Я добавил в стандартный расчет ошибок для y, кстати, вернулся как se.fit. Коэффициенты могут быть получены из компонентов коэффициентами ( foo.pred$pred.ygt0) и коэффициентами ( foo.pred$pred.p.ygt0); Я напишу процедуру извлечения и процедуру контрастирования через некоторое время.
jbowman
Не могли бы вы описать, откуда это происходит: se.fit <- sqrt (((1-p0) * se.ev) ^ 2 + (ev * se.p0) ^ 2 + (se.p0 * se.ev) ^ 2)
B_Miner