Почему случайные эффекты уменьшаются до 0?

10

Есть ли интуитивно понятная причина сокращения случайных эффектов до их ожидаемого значения в общей линейной смешанной модели?

mixed-model random-effects-model user7064
источник

Можете ли вы предоставить больше контекста для этого вопроса?

Макро

Прогнозируемые значения из моделей со случайным эффектом являются оценками усадки ; будет небольшая усадка, когда статистические единицы отличаются, или когда измерения точны, или с большой выборкой. Это то, что вы ищете, или вы действительно имеете в виду сокращение до ожидаемого значения?

Хл

3

Я хотел бы предложить более старую статью Брэдли Эфрона и Карла Морриса, «Парадокс Штейна в статистике» (1977) (онлайн- PDF здесь ). Не уверен, что это интуитивно понятно, но это довольно мягкое введение (с примерами из реального мира) в понятие усадки.

Энди W

4

Вообще говоря, большинство «случайных эффектов» возникает в ситуациях, когда есть также «фиксированный эффект» или какая-то другая часть модели. Общая линейная смешанная модель выглядит следующим образом:

Y_{я} знак равно {Икс}_{я}^{T} β + Z_{я}^{T} U + ε_{я}

$y_i=x_i^T\beta+z_i^Tu+\epsilon_i$

Где - «фиксированные эффекты», а - «случайные эффекты». Понятно, что различие может быть только на концептуальном уровне или в методе оценки и . Ибо, если я определю новый «фиксированный эффект» и то у меня будет обычная линейная регрессия: $\beta$ $u$ $u$ $\beta$ $\tilde{x}_i=(x_i^T,z_i^T)^T$ $\tilde{\beta}=(\beta^T,u^T)^T$

Y_{я} знак равно {\tilde{Икс}}_{я}^{T} \tilde{β} + ε_{я}

$y_i=\tilde{x}_i^T\tilde{\beta}+\epsilon_i$

Это часто является реальной практической проблемой, когда речь идет о подборе смешанных моделей, когда основные концептуальные цели не ясны. Я думаю , тот факт , что случайные эффекты являются сжались к нулю, и что фиксированные эффекты не являются обеспечивают некоторую помощь здесь. Это означает, что мы склонны отдавать предпочтение модели с включенным только (т.е. ), когда оценки имеют низкую точность в формулировке OLS, и склонны отдавать предпочтение полной формулировке OLS, когда оценки имеют высокую точность. $u$ $\beta$ $\beta$ $u=0$ $u$ $u$

probabilityislogic
источник

2

Ваш вопрос не отвечает сам по себе? Если значение ожидается, тогда метод, который приближает значения к этому, был бы лучшим.

Простой ответ исходит из закона больших чисел. Допустим, предметы - это ваш случайный эффект. Если вы проводите тесты от А до D в 200 испытаниях, а от испытуемого Е - в 20 испытаниях, какой из измеренных средних показателей вы считаете более репрезентативным для мю? Закон больших чисел мог бы предсказать, что производительность субъекта E будет с большей вероятностью отличаться от mu от большей величины, чем от A до D. Это может или не может произойти, и любой из субъектов может отклониться, но мы будем гораздо больше оправдано в уменьшении эффекта субъекта E к субъекту от A до D, чем наоборот. Так что случайные эффекты, которые больше и имеют меньшие значения N, как правило, уменьшаются больше всего.

Из этого описания также следует, почему фиксированные эффекты не сокращаются. Это потому, что они исправлены, есть только один в модели. У вас нет ссылки, чтобы уменьшить его. Вы можете использовать наклон 0 в качестве ориентира, но это не то, к чему стремятся случайные эффекты. Они к общей оценке, такой как му. Фиксированный эффект от вашей модели - это оценка.

Джон
источник

1

Я думаю, что вашей интуиции может быть полезно думать о смешанной модели как иерархической или многоуровневой модели . По крайней мере, для меня это имеет больше смысла, когда я думаю о вложенности и о том, как модель работает внутри и между категориями иерархически.

РЕДАКТИРОВАТЬ: Макро, я оставил это немного открытым, потому что это помогает мне увидеть его более интуитивно, но я не уверен, что это правильно. Но расширять его в возможно неправильных направлениях ...

Я рассматриваю это как фиксированные эффекты, усредняющие по категориям, и случайные эффекты, различающие категории. В некотором смысле случайные эффекты являются «кластерами», которые имеют некоторые характеристики, и более крупные и более компактные кластеры будут оказывать большее влияние на среднее значение на более высоком уровне.

Таким образом, при OLS, выполняющем подбор (по-видимому, поэтапно), более крупные и более компактные «кластеры» случайных эффектов, таким образом, будут сильнее подтягивать подгонку к себе, тогда как меньшие или более рассеянные «кластеры» будут притягивать подгонку меньше. Или, возможно, подгонка начинается ближе к более крупным и более компактным «кластерам», поскольку среднее значение более высокого уровня ближе к началу

Извините, я не могу быть более ясным, и даже могу ошибаться. Это имеет смысл для меня интуитивно, но поскольку я пытаюсь написать это, я не уверен, является ли это сверху вниз или снизу вверх или чем-то другим. Дело в том, что «кластеры» нижнего уровня тянутся к себе сильнее или имеют большее влияние на усреднение более высокого уровня - и, таким образом, «оказываются» ближе к среднему уровню более высокого уровня - или ни того, ни другого?

В любом случае я чувствую, что это объясняет, почему меньшие, более рассеянные категории случайных величин будут тянуться дальше к среднему значению, чем более крупные, более компактные категории.

Wayne
источник

Привет, Уэйн, не могли бы вы остановиться на этом, чтобы описать, как усадка может (возможно, более интуитивно) осмысляться, если рассматривать это как иерархическую модель?

Макро

@Macro: ОК, я попробовал. Не уверен, если это делает ответ лучше или хуже, хотя.

Уэйн

Почему случайные эффекты уменьшаются до 0?

Ответы: