Существуют ли стандартные алгоритмы (в отличие от программ) для выполнения иерархической линейной регрессии? Люди обычно просто делают MCMC или есть более специализированные, возможно частично закрытые формы, алгоритмы?
источник
Существуют ли стандартные алгоритмы (в отличие от программ) для выполнения иерархической линейной регрессии? Люди обычно просто делают MCMC или есть более специализированные, возможно частично закрытые формы, алгоритмы?
Существует алгоритм итеративного обобщенного наименьших квадратов (IGLS) Харви Голдштейна для одного, а также его незначительная модификация, ограниченные итеративные обобщенные наименьшие квадраты (RIGLS), который дает несмещенные оценки параметров дисперсии.
Эти алгоритмы все еще итеративны, поэтому не являются закрытой формой, но они вычислительно проще, чем MCMC или с максимальной вероятностью. Вы просто повторяете, пока параметры не сходятся.
Гольдштейн Х. Многоуровневый смешанный линейно-модельный анализ с использованием итерационных обобщенных наименьших квадратов. Биометрика 1986; 73 (1): 43-56. doi: 10.1093 / biomet / 73.1.43
Гольдштейн Х. Ограниченная несмещенная итерационная обобщенная оценка наименьших квадратов. Биометрика 1989; 76 (3): 622-623. doi: 10.1093 / biomet / 76.3.622
Для получения дополнительной информации об этом и альтернативах, см., Например:
Пакет lme4 в R использует итеративно взвешенные наименьшие квадраты (IRLS) и штрафует итеративно повторно взвешенные наименьшие квадраты (PIRLS). Смотрите PDF здесь:
http://rss.acs.unt.edu/Rdoc/library/lme4/doc/index.html
источник
lmer()
функцию вlme4
пакете R, вам, как правило, приходится читать весь набор кода C ++, чтобы понять реализацию PIRLSlmer()
(что может быть непросто для тех из нас, кто не так хорошо разбирается в программировании на C ++).Еще один хороший источник «вычислительных алгоритмов» для HLM (опять же, если рассматривать их как спецификации, аналогичные LMM):
Алгоритмы, которые они перечисляют для вычисления LMM, включают:
Алгоритмы, которые они перечисляют для GLMM, включают:
Другие алгоритмы для GLMM, которые они предлагают, включают:
источник
Если вы рассматриваете HLM как тип линейной смешанной модели, вы можете рассмотреть EM-алгоритм. На стр. 22-23 следующих примечаний к курсу показано, как реализовать классический алгоритм EM для смешанной модели:
http://www.stat.ucla.edu/~yuille/courses/stat153/emtutorial.pdf
источник