Дисперсионное распределение и продольные изменения в корреляции с двоичными данными

Я анализирую данные о 300 000 учеников в 175 школах с помощью логистической линейной модели смешанных эффектов (случайные перехваты). Каждый ученик встречается ровно один раз, а данные охватывают 6 лет.

1. Как разделить разницу между уровнями школы и ученика, аналогично VPC / ICC для непрерывных результатов? Я видел эту статью, в которой предлагаются 4 метода, из которых A и B кажутся мне интересными, но я хотел бы знать, какие преимущества / недостатки могут быть в использовании любого из них, и, конечно, если есть какие-либо другие способы сделать Это.

2. Как я могу сравнить остаточную дисперсию на уровне школы из года в год (или любой другой период времени)? До сих пор я делал это путем деления данных по годам и запуска модели для каждого года данных, но я думаю, что это некорректно, потому что: i) нет очевидной причины, по которой мне следует делить по годам ; и ii) поскольку оценки фиксированных эффектов различны для каждого года, сравнение случайных эффектов из года в год может не иметь смысла (это просто моя интуиция, было бы здорово, если бы кто-то мог объяснить это более формально, если это правильно).

ПРИМЕЧАНИЕ: я переписал этот вопрос после обсуждения в мета с Whuber и Macro

Пусть обозначает ответ и вектор предиктора (соответственно) учащегося i в школе j .$y_{ij}, {\boldsymbol x}_{ij}$$i$$j$

(1) Для двоичных данных, я думаю, что стандартный способ сделать разложение дисперсии, аналогичное тому, что делается для непрерывных данных, - это то, что авторы называют метод D (я прокомментирую другие методы ниже) в вашей ссылке - представляя двоичные данные как возникающих из базовой непрерывной переменной, которая управляется линейной моделью и разлагает дисперсию по этой скрытой шкале. Причина в том, что логистические модели (и другие GLM) естественным образом возникают таким образом:

Чтобы увидеть это, определите , чтобы оно регулировалось линейной смешанной моделью:$y^{\star}_{ij}$

$$y^{\star}_{ij} = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j + \varepsilon_{ij}$$

где - коэффициенты регрессии,$\alpha,\beta$ - случайный эффект школьного уровня, а ε i j - остаточный член дисперсии и имеет стандартноелогистическое распределение. Теперь давай$\eta_j \sim N(0,\sigma^2)$$\varepsilon_{ij}$

$$y_{ij} = \begin{cases} 1 & \text{if} \ \ \ y^{\star}_{ij}≥0\\ \\ 0 &\text{if} \ \ \ y^{\star}_{ij}<0 \end{cases}$$

пусть теперь y i j = 1 | x i j , η j ) , просто используя логистический CDF, который мы имеем$p_{ij} = P(y_{ij} = 1|{\boldsymbol x}_{ij},\eta_j)$

$$p_{ij} = 1-P(y^{\star}_{ij}<0|{\boldsymbol x}_{ij},\eta_j) = \frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \}}$$

Теперь, принимая логит-преобразование с обеих сторон, у вас есть

$$\log \left( \frac{ p_{ij} }{1 - p_{ij}} \right) = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j$$

которая является именно моделью логистических смешанных эффектов. Таким образом, логистическая модель эквивалентна модели скрытой переменной, указанной выше. Одно важное замечание:

• Шкала не определена, так как, если бы вы уменьшили ее, но константу s , она просто изменила бы вышеприведенное значение на$\varepsilon_{ij}$$s$

$$\frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \}}$$

$\ \ \ \ \ \ \ $следовательно, коэффициенты и случайные эффекты будут просто увеличены на соответствующую величину. Итак, s = 1 используется, что подразумевает v
$\ \ \ \ \ \ $$s=1$ .${\rm var}(\varepsilon_{ij}) = \pi^2/3$

Теперь, если вы используете эту модель, а затем количество

$$\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + \pi^2/3 }$$

оценивает внутриклассовую корреляцию скрытых скрытых переменных . Еще одно важное замечание:

• Если вместо указано стандартное нормальное распределение, то у вас есть пробитная модель со смешанными эффектами . В таком $\varepsilon_{ij}$оцениваеттетрахорическая корреляциямежду двумя случайно выбранными учениками в той же школе, что были показаны Пирсоном (около 1900 я думаю)чтобы быть статистически определенакогда основные непрерывные данные были нормально распределены (эта работа действительно показала эти корреляции были определены за пределами двоичного случая для случая нескольких категорий, где эти корреляции называютсяполихорическими корреляциями). По этой причине может быть предпочтительным (и я рекомендую это) использовать пробитную модель, когда основной интерес представляет оценка (тетрахорической) внутриклассовой корреляции двоичных данных. $$\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + 1 }$$

Что касается других методов, упомянутых в статье, которую вы связали:

• ${\boldsymbol x}_{ij}$

• (B) Метод моделирования интуитивно привлекателен для статистики, так как он даст вам оценку разложения дисперсии в исходном масштабе данных, но, в зависимости от аудитории, это может (i) быть сложно описать в ваших «методах» раздел и (ii) может отключить рецензента, который искал что-то «более стандартное»

• (C) Притворяться, что данные непрерывны, вероятно, не очень хорошая идея, хотя они не будут работать ужасно, если большинство вероятностей не слишком близко к 0 или 1. Но выполнение этого почти наверняка вызовет красный флаг у рецензента. так что я бы держался подальше.

Теперь, наконец,

(2) Если фиксированные эффекты сильно различаются по годам, то вы правы, полагая, что может быть трудно сравнивать случайные отклонения эффектов по годам, поскольку они потенциально имеют разные масштабы (это связано с неидентифицируемостью). упомянутой выше проблемы масштабирования).

$I_k = 1$$k$

$$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1j} I_1 + \eta_{2j} I_2 + \eta_{3j} I_3 + \eta_{4j} I_4 + \eta_{5j} I_5+ \eta_{6j} I_6$$

это даст вам разные ICC каждый год, но одинаковые фиксированные эффекты. Может быть заманчиво просто использовать случайный наклон во времени, делая ваш линейный предиктор

$$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1} + \eta_{2} t$$

but I don't recommend this, since that will only allow your associations to increase over time, not decrease.