Когда я должен * не * позволять фиксированному эффекту изменяться в зависимости от уровня случайного эффекта в модели смешанных эффектов?

Учитывая прогнозируемую переменную (P), случайный эффект (R) и фиксированный эффект (F), можно использовать две модели смешанных эффектов ( синтаксис lme4 ):

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

Насколько я понимаю, вторая модель - это та, которая позволяет фиксированному эффекту варьироваться в зависимости от уровня случайного эффекта.

В своих исследованиях я обычно использую модели смешанных эффектов для анализа данных экспериментов, проведенных с несколькими участниками. Я моделирую участника как случайный эффект, а экспериментальные манипуляции - как фиксированные эффекты. Я думаю, что имеет смысл априори разрешать степень, в которой фиксированные эффекты влияют на производительность в эксперименте, у разных участников. Однако мне трудно представить себе обстоятельства, при которых я не должен позволять фиксированным эффектам изменяться в зависимости от уровня случайного эффекта, поэтому мой вопрос:

Когда следует один не допускать фиксированный эффект изменять по уровням случайного эффекта?

Я не эксперт в моделировании смешанных эффектов, но на этот вопрос гораздо легче ответить, если он перефразирован в контексте моделирования иерархической регрессии. Таким образом, наши наблюдения имеют два индекса и F i j с индексом i, представляющим класс, и j членами класса. Иерархические модели позволяют нам соответствовать линейной регрессии, где коэффициенты варьируются по классам:$P_{ij}$$F_{ij}$$i$$j$

Это наш первый уровень регрессии. Регрессия второго уровня производится по первым коэффициентам регрессии:

когда мы подставляем это в регрессии первого уровня, мы получаем

Здесь - фиксированные эффекты, а u - случайные эффекты. Смешанные модельные оценки γ и дисперсии u .$\gamma$$u$$\gamma$$u$

Модель, которую я записал, соответствует lmerсинтаксису

P ~ (1+F|R) + F

Теперь, если мы положим без случайного члена, мы получим$\beta_{1i}=\gamma_{01}$

который соответствует lmerсинтаксису

P ~ (1|R) + F

Таким образом, теперь возникает вопрос, когда мы можем исключить ошибочный член из регрессии второго уровня? Канонический ответ заключается в том, что когда мы уверены, что регрессоры (здесь у нас их нет, но мы можем включить их, они, естественно, являются постоянными внутри классов), в регрессии второго уровня полностью объясняется дисперсия коэффициентов по классам.

$F_{ij}$$u_{1i}$

Примечание . Я только дал алгебраическое объяснение, но я думаю, что, имея это в виду, гораздо проще думать о конкретном прикладном примере.

Вы можете думать о «фиксированном эффекте» как о «случайном эффекте» с компонентом дисперсии, равным нулю.

Таким образом, простой ответ на вопрос, почему вы не позволите фиксированному эффекту изменяться, является недостаточным доказательством «достаточно большого» компонента дисперсии. Доказательства должны исходить как из предварительной информации, так и из данных. Это соответствует основному принципу «бритвы оккама»: не делайте вашу модель более сложной, чем она должна быть.

Я склонен думать о линейных смешанных моделях следующим образом, выписать множественную регрессию следующим образом:

$X\beta$$Zu$$e$$u\sim N(0,D(\theta))$$\theta$$e\sim N(0,\sigma^{2}I)$$(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

$Z=0$

Таким образом, «случайная» часть модели может рассматриваться как способ определения предварительной информации о корреляционной структуре компонента шума или ошибки в модели. OLS в основном предполагает, что любая ошибка из фиксированной части модели в одном случае бесполезна для прогнозирования любой другой ошибки, даже если мы точно знаем фиксированную часть модели. Добавление случайного эффекта означает, что вы считаете, что некоторые ошибки могут быть полезны при прогнозировании других ошибок.

Это довольно старый вопрос с некоторыми очень хорошими ответами, однако я думаю, что может быть полезным новый ответ для более прагматичной перспективы.

Когда не следует позволять фиксированному эффекту изменяться в зависимости от уровня случайного эффекта?

Я не буду касаться вопросов, уже описанных в других ответах, вместо этого я буду ссылаться на уже ставшую известной, хотя я бы скорее сказал «печально известную» статью Барра и др. (2013), которую часто называют «Держите ее максимальной».

Barr, DJ, Levy, R., Scheepers, C. and Tily, HJ, 2013. Структура случайных эффектов для проверки подтверждающих гипотез: сохраняйте ее максимальной. Журнал памяти и языка, 68 (3), с.255-278.

В этой статье авторы утверждают, что все фиксированные эффекты должны варьироваться в зависимости от уровней группирующих факторов (случайные перехваты). Их аргумент довольно убедителен - в основном, что, не позволяя им варьироваться, это накладывает ограничения на модель. Это хорошо описано в других ответах. Тем не менее, есть потенциально серьезные проблемы с этим подходом, которые описаны Bates el al (2015):

Бейтс Д., Клигл Р., Васишт С. и Баайен Х., 2015. Экономные смешанные модели. Препринт arXiv arXiv: 1506.04967

Здесь стоит отметить, что Бейтс является основным автором lme4пакета для подгонки смешанных моделей в R, который, вероятно, является наиболее широко используемым пакетом для таких моделей. Бейтс и др. Отмечают, что во многих реальных приложениях данные просто не поддерживают структуру с максимальными случайными эффектами, часто из-за недостаточного количества наблюдений в каждом кластере для соответствующих переменных. Это может проявиться в моделях, которые не сходятся или являются сингулярными по случайным эффектам. Об этом свидетельствует большое количество вопросов на этом сайте о таких моделях. Они также отмечают, что Барр и др. Использовали относительно простую симуляцию, в которой в качестве основы для их работы использовались случайные эффекты с "хорошим поведением". Вместо этого Бейтс и др. Предлагают следующий подход:

Мы предложили (1) использовать PCA для определения размерности дисперсионно-ковариационной матрицы структуры со случайным эффектом, (2) для первоначального ограничения параметров корреляции до нуля, особенно когда первоначальная попытка подобрать максимальную модель не сходится, и (3) исключить незначительные компоненты дисперсии и связанные с ними параметры корреляции из модели

В той же статье они также отмечают:

Важно отметить, что сближение не происходит из-за дефектов алгоритма оценки, а является прямым следствием попытки подбора модели, которая слишком сложна, чтобы быть должным образом подтвержденной данными.

И:

максимальные модели не нужны для защиты от антиконсервативных выводов. Эта защита полностью обеспечивается комплексными моделями, которые руководствуются реалистическими ожиданиями относительно сложности, которую могут поддерживать данные. В статистике, как и в других областях науки, скупость - это добродетель, а не порок.

Бейтс и др. (2015)

С более прикладной точки зрения, следует дополнительно рассмотреть вопрос о том, должен ли процесс генерирования данных, биологическая / физическая / химическая теория, лежащая в основе данных, направлять аналитика к определению структуры случайных эффектов.