Смешанная модель с 1 наблюдением за уровень

Я подгоняю модель случайных эффектов glmerк некоторым бизнес-данным. Цель состоит в том, чтобы проанализировать показатели продаж по дистрибьюторам с учетом региональных различий. У меня есть следующие переменные:

• distcode: идентификатор дистрибьютора, около 800 уровней
• region: географический идентификатор верхнего уровня (север, юг, восток, запад)
• zone: география среднего уровня region, около 30 уровней во всех
• territory: низкоуровневая география zone, около 150 уровней

Каждый дистрибьютор работает только на одной территории. Сложность в том, что это сводные данные, с одной точкой данных на каждого дистрибьютора. Таким образом, у меня есть 800 точек данных, и я пытаюсь соответствовать (по крайней мере) 800 параметрам, хотя и упорядоченным образом.

Я приспособил модель следующим образом:

glmer(ninv ~ 1 + (1|region/zone/territory) + (1|distcode), family=poisson)

Это работает без проблем, хотя и печатает заметку:

Количество уровней группирующего фактора для случайных воздействий равно n числу наблюдений

Это разумная вещь? Я получаю конечные оценки всех коэффициентов, и AIC также не является необоснованным. Если я попробую пуассоновский GLMM с идентификационной связью, AIC будет намного хуже, поэтому ссылка на лог является, по крайней мере, хорошей отправной точкой.

Если я построю подгонянные значения по сравнению с ответом, я получу то, что по сути идеально подходит, что, я думаю, потому, что у меня есть одна точка данных на каждого дистрибьютора. Это разумно, или я делаю что-то совершенно глупое?

Это использует данные за один месяц. Я могу получать данные за несколько месяцев и получать репликацию таким образом, но мне придется добавить новые условия для ежемесячных изменений и возможных взаимодействий, правильно?

ETA: я снова запустил вышеупомянутую модель, но без familyаргумента (так что это просто гауссовский LMM, а не GLMM). Теперь lmerдал мне следующую ошибку:

Ошибка в (функция (fr, FL, start, REML, verbose): количество уровней фактора группировки для случайных эффектов должно быть меньше количества наблюдений

Таким образом, я предполагаю, что я не делаю что-то разумное, поскольку смена семьи не должна иметь никакого эффекта. Но теперь возникает вопрос: почему это сработало?

Я бы категорически не согласился с практикой подбора смешанной модели, в которой у вас такое же количество групп, что и у наблюдений на концептуальных основаниях, нет «групп», а также на вычислительных основаниях, поскольку у вашей модели должны быть очевидные проблемы - в случае LMM по крайней мере. (Я работаю с LMM исключительно, это может быть немного предвзятым. :))

Вычислительная часть. Предположим, например, стандартную модель LME, где . Предполагая теперь, что у вас есть равное количество наблюдений и групп (скажем, при «простой» кластеризации, без скрещенных или вложенных эффектов и т. Д.), Тогда вся ваша выборочная дисперсия будет перемещена в матрицу , и должен быть равен нулю. , (Я думаю, вы уже убедились в этом) Это почти эквивалентно тому, чтобы иметь столько же параметров, сколько данных в линейной модели. У вас сверхпараметризованная модель. Поэтому регрессия немного бессмысленна.D σ $y \sim N(X\beta, ZDZ^T + \sigma^2 I)$$D$$\sigma^2$

(Я не понимаю, что вы подразумеваете под «разумным» AIC. AIC должен быть вычислимым в том смысле, что, несмотря на чрезмерную подгонку ваших данных, вы все равно «что-то вычисляете».)

glmer$y$$X\beta$$X\beta> 0$glmer

Концептуальная часть: я думаю, что это немного более "субъективно", но немного более просто. Вы используете Mixed Eff. модели, потому что вы по существу признали, что в вашей ошибке есть какая-то групповая структура. Теперь, если у вас столько групп, сколько точек данных, структуры не видно. Любые отклонения в вашей структуре ошибок LM, которые могут быть отнесены к «группировке», теперь приписываются конкретной точке наблюдения (и в результате вы получаете перегруженную модель).

В общем, группы с одним наблюдением имеют тенденцию быть немного грязными; процитировать D.Bates из списка рассылки r-sig-mixed-models:

Я думаю, вы обнаружите, что разница в модели подходит очень мало, независимо от того, включаете вы или исключаете группы с одним наблюдением. Попробуйте и посмотрите.

Один уровень на наблюдение может быть очень полезным, если в качестве переменной отклика у вас есть данные о избыточном распределении. Это равносильно тому, что вы ожидаете, что ваши данные подсчета поступят из логарифмического распределения Пуассона, то есть, что лямбда-параметр вашего распределения Пуассона не полностью определяется предикторными переменными в вашей модели и что возможности распределены логически ненормально.

Бен Болкер (Ben Bolker), один из разработчиков lme4, сделал два примера, похожих на учебники. Первый из них, с синтетическими данными, немного подробнее. Вы можете найти PDF здесь . Он также прошел предварительный анализ данных на реальных данных с участием сов (pdf и R-код доступны здесь ).