Различные описания по выбору модели на случайные эффекты линейных смешанных моделей инструктируют использовать REML. Я знаю разницу между REML и ML на некотором уровне, но я не понимаю, почему REML следует использовать, потому что ML смещен. Например, неправильно ли проводить LRT для параметра дисперсии модели нормального распределения с использованием ML (см. Код ниже)? Я не понимаю, почему в выборе модели важнее быть непредвзятым, чем быть МЛ. Я думаю, что окончательный ответ должен быть «потому что выбор модели работает лучше с REML, чем с ML», но я хотел бы знать немного больше, чем это. Я не читал деривации LRT и AIC (я не достаточно хорош, чтобы понимать их полностью), но если REML явно используется в деривациях, просто зная, что на самом деле будет достаточно (например,
n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)
loglik1 <- function(p,x,y){
a <- p[1]
b <- p[2]
alpha <- p[3]
-sum(dnorm(y,a+b*x,alpha,log=T))
}
loglik2 <- function(p,x,y){
a <- p[1]
b <- p[2]
alpha <- p[3]
beta <- p[4]
-sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}
m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value
Ответы:
Очень короткий ответ: REML - это ML, поэтому тест, основанный на REML, в любом случае верен. Так как оценка параметров дисперсии с помощью REML лучше, ее естественно использовать.
Почему РЕМЛ МЛ? Рассмотрим, например, модель с X ∈ R n × p , Z ∈ R n × q и β ∈ R p - вектор фиксированных эффектов, u ∼ N ( 0 , τ I q ) - вектор случайных эффектов, и e ∼ N ( 0 , σ 2 I n )
источник
Тесты отношения правдоподобия - это тесты статистических гипотез, основанные на соотношении двух правдоподобий. Их свойства связаны с оценкой максимального правдоподобия (MLE). (см., например, Оценка максимального правдоподобия (MLE) в терминах непрофессионала ).
В вашем случае (см. Вопрос) вы хотите «выбрать» из двух вложенных моделей var-covar. Допустим, вы хотите выбрать модель, в которой var-covar равен и модель, в которой var-covar равен ΣΣg , где вторая (простая модель) является частным случаем первого (общий один). Σs
Тест основан на вероятность того, отношение , где. Σ s и ЕLR=−2(log(Ls(Σ^s))−log(Lg(Σ^g)) Σ^s являются оценки максимального правдоподобия.Σ^g
Статистика является, асимптотически (!) Х 2 .LR χ2
Известно, что оценки максимального правдоподобия являются последовательными, однако во многих случаях они являются предвзятыми. Это тот случай , для оценок MLE для и Е г , это может быть показывают , что они предвзято. Это потому, что они вычисляются с использованием среднего значения, полученного из данных, так что разброс вокруг этого «оценочного среднего» меньше разброса вокруг истинного среднего (см., Например, Интуитивное объяснение деления на n - 1 при расчете стандартного отклонения ? )Σ^s Σ^g n−1
Статистики выше, χ 2 в больших образцах, это просто из - за того , что в больших образцах, Σ s и Σ гLR χ2 Σ^s Σ^g сходится к их истинным значениям (MLE) согласуется.
(Примечание: в приведенной выше ссылке для очень больших выборок деление на n или на (n-1) не будет иметь значения)
Для небольших образцов, оценивает ОМП Σ s и Σ г будет предвзятый и , следовательно , распределение L R будет отличаться от й 2 , в то время как оценки REML дадут объективные оценки Σ s и Е г , так что если вы используете для выбора модели вар-ковара оценки REML, тогда L R будет для меньших выборок лучше аппроксимироваться χ 2 .Σ^s Σ^g LR χ2 Σs Σg LR χ2
Обратите внимание, что REML следует использовать только для выбора среди вложенных структур var-covar моделей с одинаковым средним значением, для моделей с разными средними значениями REML не подходит, для моделей с разными значениями следует использовать ML.
источник
У меня есть ответ, который больше связан со здравым смыслом, чем со статистикой. Если вы посмотрите на PROC MIXED в SAS, оценка может быть выполнена с помощью шести методов:
http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm
но REML используется по умолчанию. Почему? По-видимому, практический опыт показал, что он имеет лучшую производительность (например, наименьшая вероятность проблем сходимости). Следовательно, если ваша цель достижима с помощью REML, то имеет смысл использовать REML, а не пять других методов.
источник