Фиксированный эффект против случайного эффекта, когда все возможности включены в модель смешанных эффектов

15

В модели смешанных эффектов рекомендуется использовать фиксированный эффект для оценки параметра, если включены все возможные уровни (например, как мужчины, так и женщины). Кроме того, рекомендуется использовать случайный эффект для учета переменной, если включенные уровни представляют собой просто случайную выборку из популяции (зарегистрированных пациентов из вселенной возможных пациентов) и вы хотите оценить среднее значение и дисперсию популяции вместо средних значений. уровней отдельных факторов.

Мне интересно, если вы логически обязаны всегда использовать фиксированный эффект таким образом. Рассмотрим исследование того, как размер стопы / обуви изменяется в процессе развития и связан, скажем, с ростом, весом и возрастом. SideЯсно, что необходимо как-то включить в модель, чтобы учесть тот факт, что измерения за эти годы вложены в заданную ногу и не являются независимыми. Более того, справа и слева есть все возможности, которые могут существовать. Кроме того, это может быть очень верно, что для данного участника их правая нога больше (или меньше), чем их левая. Однако, хотя размер ступни у всех людей несколько различается, нет никаких оснований полагать, что правые ступни в среднем будут больше левых. Если они присутствуют в вашей выборке, это, вероятно, связано с генетикой людей в вашей выборке, а не с особенностями правой ноги. Наконец, side кажется мешающим параметром, а не то , что вы действительно заботитесь о.

Позвольте мне отметить, что я сделал этот пример. Это может быть не очень хорошо; это просто чтобы донести идею. Насколько я знаю, наличие большой правой ноги и маленькой левой ноги было необходимо для выживания в палеолите.

В таком случае, имеет ли смысл (больше / меньше / меньше) иметь смысл включать side в модель как случайный эффект? Каковы были бы плюсы и минусы использования фиксированного и случайного эффекта здесь?

Gung - Восстановить Монику
источник
почему вы хотите рассматривать сторону как случайный фактор, учитывая, что существует два и только два уровня фактора? Откуда берется случайность в вашей задаче?
Аарон Зенг
@AaronZeng, оставив в стороне качество моего примера, это мой вопрос. Есть ли какая-либо причина представлять уровни со случайными эффектами, если у вас есть все возможные уровни. Что если рассматриваемый фактор имел> 2 уровня?
gung - Восстановить Монику
1
@gung Я только что вернулся в эту ветку - помог какой-нибудь из ответов? Если нет - что еще вы хотите узнать? Может быть, у вас есть свой ответ (если да, мне было бы интересно узнать больше об этой проблеме!)?
Тим
2
Я давно не был здесь, @Tim. Я ценю оба ответа (я проголосовал за них), но они не совсем то, что я искал (возможно, из-за недостаточно четкой формулировки вопроса). Я думал о том, чтобы составить ответ из некоторых материалов, которые Бен Болкер опубликовал в разных местах, но это будет немного работы, и я так и не смог это сделать. Это все еще кое-что, что я должен сделать, все же. Спасибо за толчок.
gung - Восстановить Монику

Ответы:

13

Общая проблема с «фиксированными» и «случайными» эффектами заключается в том, что они не определены согласованным образом. Эндрю Гельман цитирует несколько из них:

(1) Фиксированные эффекты постоянны у разных людей, а случайные эффекты различаются. Например, в исследовании роста модель со случайным перехватом и фиксированным наклоном b соответствует параллельным линиям для разных индивидуумов i или модели y i t = a i + b t . Таким образом, Kreft и De Leeuw (1998) различают фиксированные и случайные коэффициенты.aibiyit=ai+bt

(2) Эффекты фиксируются, если они интересны сами по себе или случайны, если есть интерес к основной популяции. Сирл, Казелла и МакКаллох (1992, раздел 1.4) подробно исследуют это различие.

(3) «Когда выборка исчерпывает совокупность, соответствующая переменная фиксируется; когда выборка является небольшой (то есть незначительной) частью популяции, соответствующая переменная является случайной ». (Green and Tukey, 1960)

(4) «Если эффект предполагается реализованным значением случайной величины, он называется случайным эффектом». (LaMotte, 1983)

(5) Фиксированные эффекты оцениваются с использованием метода наименьших квадратов (или, в более общем смысле, максимальной вероятности), а случайные эффекты оцениваются с усадкой («линейное непредвзятое предсказание» в терминологии Робинсона, 1991 г.). Это определение является стандартным в литературе по многоуровневому моделированию (см., Например, Snijders and Bosker, 1999, раздел 4.2) и в эконометрике.

и замечает, что они не соответствуют. В своей книге « Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей» он, как правило, избегает использования этих терминов, и в своей работе он фокусируется на фиксированных или изменяющихся перехватах и ​​наклонах групп, поскольку

Фиксированные эффекты можно рассматривать как особые случаи случайных эффектов, в которых дисперсия более высокого уровня (в модели (1.1) это будет ) установлена ​​на 0 илиσα20 . Следовательно, в нашей структуре все параметры регрессии являются «случайными», а термин «многоуровневый» является всеобъемлющим.

Это особенно верно для байесовской структуры - обычно используемой для смешанных моделей - где все эффекты случайны сами по себе. Если вы думаете о Байесе, вы на самом деле не озабочены «фиксированными» эффектами и точечными оценками, и у вас нет проблем с обработкой всех эффектов как случайных.

Чем больше я читаю на эту тему, тем больше я убежден, что это скорее идеологическая дискуссия о том, что мы можем (или должны) оценить и что мы можем только предсказать (здесь я мог бы сослаться и на ваш собственный ответ ). Вы используете случайные эффекты, если у вас есть случайная выборка возможных результатов, поэтому вас не интересуют индивидуальные оценки, и вы заботитесь скорее о последствиях для населения, а не отдельных людей. Таким образом, ответ на ваш вопрос зависит также от того, что вы думаете о том, хотите ли вы или можете оценить фиксированные эффекты с учетом ваших данных. Если в ваши данные включены все возможные уровни, вы можетеоцените фиксированные эффекты - также, как и в вашем примере, количество уровней может быть небольшим, что, как правило, не подходит для оценки случайных эффектов, и для этого есть некоторые минимальные требования .

Аргумент в лучшем случае

Скажем, у вас есть неограниченное количество данных и неограниченная вычислительная мощность. В этом случае вы можете представить оценку каждого эффекта как фиксированного, поскольку фиксированные эффекты дают вам большую гибкость (позволяют нам сравнивать отдельные эффекты). Однако даже в этом случае большинство из нас неохотно используют фиксированные эффекты для всего.

Например, представьте, что вы хотите смоделировать результаты экзаменов школ в каком-либо регионе, и у вас есть данные по всем 100 школам в регионе. В этом случае вы могли бы угрожать школам как фиксированным - поскольку у вас есть данные на всех уровнях - но на практике вы, скорее всего, предпочли бы считать их случайными. Это почему?

  1. Одна из причин заключается в том, что, как правило, в подобных случаях вас интересует не влияние отдельных школ (и их трудно сравнивать), а скорее общая разница между школами.

  2. Другой аргумент здесь - модель скупости. Как правило, вас не интересует модель «всевозможного влияния», поэтому в вашей модели вы включаете несколько фиксированных эффектов, которые вы хотите протестировать и контролировать для других возможных источников изменчивости. Это делает модели смешанных эффектов подходящими для общего подхода к статистическому моделированию, где вы оцениваете что-то и контролируете другие вещи. Со сложными (многоуровневыми или иерархическими) данными у вас есть много эффектов для включения, поэтому вы угрожаете некоторым как «фиксированным», а некоторые как «случайным», чтобы контролировать их.

  3. В этом сценарии вы также не будете думать о школах как о том, что каждая из них имеет свое уникальное влияние на результаты, а скорее о школах, имеющих какое-то влияние в целом. Таким образом, этот аргумент состоит в том, что мы считаем, что на самом деле невозможно оценить уникальные эффекты отдельных школ, и поэтому мы угрожаем им как случайной выборкой возможных эффектов школы.

Модели со смешанными эффектами находятся где-то между сценариями «все исправлено» и «все случайно». Данные, с которыми мы сталкиваемся, заставляют нас снизить наши ожидания в отношении оценки всего как фиксированных эффектов, поэтому мы решаем, какие эффекты мы хотим сравнить и какие эффекты мы хотим контролировать, или имеем общее представление об их влиянии. Речь идет не только о том, что это за данные, но и о том, как мы думаем о данных во время их моделирования.

Тим
источник
Здесь много хороших моментов, @Tim. Мне интересно, что вы думаете о примере банды в ОП; в комментариях под моим ответом было долгое обсуждение, но я думаю, что к настоящему моменту оно, наконец, более или менее решено. Было бы полезно узнать, согласны ли вы или, возможно, не согласны с тем, что я написал.
говорит амеба, восстанови Монику
@amoeba это интересный ответ (я уже +1), и я согласен с вашей точкой зрения. Я думаю, что по сути gung прав (так же, как Gelman - который всегда прав :)), что нет однозначного ответа. Существует огромная литература и множество способов применения моделей со смешанным эффектом, и нет четких различий. Более того, есть люди, которые по умолчанию всегда используют фиксированные эффекты для всего, и есть те, кто использует случайные эффекты, когда это возможно, даже в тех случаях, которые мы обычно предпочитаем рассматривать как фиксированные эффекты ... Это также зависит от того, что именно вы хотите модель.
Тим
13

Управляющее резюме

Действительно, часто говорят, что если все возможные уровни факторов включены в смешанную модель, то этот фактор следует рассматривать как фиксированный эффект. Это не обязательно верно для ДВУХ ОТЛИЧНЫХ ПРИЧИН:

(1) Если число уровней велико, то это может иметь смысл рассматривать [пересеченный] фактор как случайные.

Я согласен как с @Tim, так и с @RobertLong: если фактор имеет большое количество уровней, включенных в модель (например, все страны мира; или все школы в стране; или, возможно, все население страны). предметы обследуются и т. д.), тогда нет ничего плохого в том, чтобы рассматривать его как случайный - это может быть более экономным, может дать некоторую усадку и т. д.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Если фактор вложен в другой случайный эффект, то он должен рассматриваться как случайный, независимо от количества уровней.

В этой теме возникла путаница (см. Комментарии), поскольку другие ответы касаются случая № 1 выше, но приведенный вами пример является примером другой ситуации, а именно, этого случая № 2. Здесь есть только два уровня (то есть совсем не «большое количество»!), И они исчерпывают все возможности, но они вложены в другой случайный эффект , дающий вложенный случайный эффект.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

Детальное обсуждение вашего примера

Стороны и предметы в вашем воображаемом эксперименте связаны как классы и школы в примере стандартной иерархической модели. Возможно, каждая школа (№ 1, № 2, № 3 и т. Д.) Имеет класс A и класс B, и эти два класса должны быть примерно одинаковыми. Вы не будете моделировать классы A и B как фиксированный эффект с двумя уровнями; это было бы ошибкой. Но вы не будете моделировать классы A и B как «отдельный» (т.е. скрещенный) случайный эффект с двумя уровнями; это тоже было бы ошибкой. Вместо этого вы будете моделировать классы как вложенный случайный эффект внутри школ.

Смотрите здесь: Скрещенные и вложенные случайные эффекты: чем они отличаются и как они правильно указаны в lme4?

i=1nj=1,2

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+ϵi+ϵij+ϵijk
ϵiN(0,σsubjects2),Random intercept for each subject
ϵijN(0,σsubject-side2),Random int. for side nested in subject
ϵijkN(0,σnoise2),Error term

Как вы писали сами, «нет никаких оснований полагать, что правые ноги в среднем будут больше левых». Таким образом, не должно быть никакого «глобального» эффекта (ни фиксированного, ни случайного пересечения) правой или левой ноги вообще; вместо этого можно думать, что у каждого субъекта есть «одна» и «другая» ступни, и эту изменчивость мы должны включить в модель. Эти «один» и «другой» ноги вложены в предметы, следовательно, вложенные случайные эффекты.

Более подробная информация в ответ на комментарии. [26 сентября]

Моя модель выше включает Сторону как вложенный случайный эффект в Предметах. Вот альтернативная модель, предложенная @Robert, где Side - фиксированный эффект:

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+δSidej+ϵi+ϵijk

ij комбинацией .

Это не может.

То же самое относится и к гипотетической модели @ gung с использованием Side как скрещенного случайного эффекта:

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+ϵi+ϵj+ϵijk

Он также не учитывает зависимости.

Демонстрация с помощью симуляции [2 октября]

Вот прямая демонстрация в R.

Я генерирую игрушечный набор данных с пятью предметами, измеренными на обеих ногах в течение пяти лет подряд. Влияние возраста линейно. Каждый субъект имеет случайный перехват. И у каждого субъекта одна из ног (левая или правая) больше другой.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Извиняюсь за мои ужасные навыки R. Вот как выглядят данные (каждые пять последовательных точек - это один фут одного человека, измеренный за эти годы; каждые десять последовательных точек - два фута одного и того же человека):

введите описание изображения здесь

Теперь мы можем разместить несколько моделей:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Все модели включают фиксированный эффект ageи случайный эффект subject, но относятся по- sideразному.

  1. sideaget=1.8

  2. sideaget=1.4

  3. sideaget=37

Это ясно показывает, что sideследует рассматривать как вложенный случайный эффект.

Наконец, в комментариях @Robert предложил включить глобальный эффект sideв качестве управляющей переменной. Мы можем сделать это, сохраняя вложенный случайный эффект:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

sidet=0.5side

амеба говорит восстановить монику
источник
2
Я действительно не думаю, что в этом примере sideвстречается какое-либо из обычных определений / рекомендаций, когда фактор следует рассматривать как случайный против фиксированного. В частности, делать выводы за выборочные уровни фактора не имеет смысла. Более того, при наличии только двух уровней этого фактора обработка его как фиксированного представляется однозначным и простым способом приблизиться к моделированию.
Роберт Лонг,
Роберт, спасибо за ответ. Либо я полностью сбит с толку, либо мне не удалось правильно объяснить, что я имею в виду. Рассматривать sideкак фиксированный эффект означает допустить, что одна из сторон (например, справа) всегда на определенную величину больше другой (слева). Эта сумма одинакова для всех людей. Это явно не то, что имел в виду ФП. Он писал, что у некоторых людей право может быть больше, а у других - левое. Тем не менее, мы должны учитывать sideиз-за коррелированных ошибок. Почему тогда мы не можем рассматривать как вложенный случайный эффект? Это точно как классы в школах.
говорит амеба, восстанови Монику
Я не знаю, что это обязательно подразумевает. Это говорит о том, что в этой выборке между сторонами может быть систематическая разница (которая может быть или не быть артефактом из-за вариаций выборки). Я предпочитаю думать о том, чтобы включить его в качестве фиксированного эффекта как «контроль» за не-независимостью и не более того - точно так же, как мы добавили бы к модели спутник и даже не мечтали бы попытаться интерпретировать ее коэффициент.
Роберт Лонг
2
Я одобряю ваш ответ после дальнейших размышлений. Вы поднимаете действительно интересные вопросы. У меня нет времени, чтобы вникать в это. Я хотел бы найти набор игрушечных данных для игры, если это возможно (если вы знаете один, пожалуйста, дайте мне знать)
Robert Long
2
+1, при дальнейшем размышлении вы, похоже, правы относительно особенностей этого исследования. Интересно, является ли более значимым тот факт, что нет единого ответа на фиксированный или случайный эффект, когда включены все возможности, и каждый случай должен оцениваться индивидуально?
gung - Восстановить Монику
7

Чтобы добавить к другим ответам:

Я не думаю, что вы логически обязаны всегда использовать фиксированный эффект, как описано в ОП. Даже когда обычные определения / рекомендации относительно того, когда рассматривать фактор как случайный, не соблюдаются, я мог бы склоняться к тому, чтобы моделировать его как случайный при большом количестве уровней, так что обработка коэффициента как фиксированного потребляла бы много степеней свобода и результат в громоздкой и менее экономной модели.

Роберт Лонг
источник
Это кажется разумным, и я ценю, что вы не были ослеплены моим примером. Я понял из этого, и ваш комментарий к ответу @ amoeba, что «когда есть большое количество уровней» (против «только с двумя уровнями фактора»), кажется, ключевым.
gung - Восстановить Монику
1
+1, потому что я согласен с этим пунктом, но это сводит меня с ума, что я не смог объяснить свою точку зрения и что ни вы, ни @gung не понимаете, что я имел в виду. Рассматривать sideлибо как фиксированный, либо как скрещенный случайный эффект обязательно означает, что одна из сторон (например, справа) всегда больше, чем другая (слева), для всех объектов. Это явно не то, что Ганг написал в своем ОП, заявив, что «нет никаких оснований полагать, что правые ноги в среднем будут больше левых». Я до сих пор вижу пример Гунга как ясный случай для вложенного случайного эффекта в полной аналогии с классами в школах.
говорит амеба, восстанови Монику
@amoeba интересный момент, но я не согласен. Я буду комментировать в комментариях к вашему ответу ...
Роберт Лонг,
4

Если вы говорите о ситуации, когда вы знаете все возможные уровни интересующего фактора, а также имеете данные для оценки эффектов, то определенно вам не нужно представлять уровни со случайными эффектами.

Причина, по которой вы хотите установить случайный эффект для фактора, заключается в том, что вы хотите сделать вывод о влиянии всех уровней этого фактора, которые обычно неизвестны. Чтобы сделать такой вывод, вы предполагаете, что эффекты всех уровней в целом образуют нормальное распределение. Но, учитывая ваши проблемы, вы можете оценить влияние всех уровней. Тогда, конечно, нет необходимости устанавливать случайные эффекты и накладывать дополнительные предположения.

Это похоже на ситуацию, когда вы можете получить все значения совокупности (таким образом, вы знаете истинное среднее значение), но вы пытаетесь взять большую выборку из совокупности и использовать центральную предельную теорему для аппроксимации распределения выборки, а затем сделайте вывод о истинном значении.

Аарон Зенг
источник
2
Один комментарий: иногда у вас есть все уровни, но вы все равно используете случайный эффект для них. Например, вы проводите общенациональное исследование по образованию и имеете данные по всем школам, но при этом вы будете использовать случайный эффект для школ, а не использовать манекены для каждой школы.
Тим