Остаточная диагностика и однородность дисперсий в линейной смешанной модели

Прежде чем задать этот вопрос, я сделал поиск наш сайт и нашел много подобных вопросов, (например , здесь , здесь и здесь ). Но я чувствую, что эти смежные вопросы не получили должного ответа или обсуждения, поэтому я хотел бы снова поднять этот вопрос. Я чувствую, что должно быть большое количество аудитории, которая хотела бы, чтобы подобные вопросы были объяснены более четко.

Для моих вопросов сначала рассмотрим линейную модель смешанных эффектов,

$$\mathbf{y = X\boldsymbol \beta + Z \boldsymbol \gamma + \boldsymbol \epsilon}$$ где $X\boldsymbol \beta$ - линейный компонент с фиксированными эффектами, $\mathbf{Z}$ - дополнительная матрица дизайна, соответствующая параметрам случайных эффектов , $\boldsymbol \gamma$ . И $\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$ - это обычный термин ошибки.

Давайте предположим, что единственным фактором с фиксированным эффектом является категориальная переменная Лечение с тремя различными уровнями. И единственным фактором случайного эффекта является переменная Тема . Тем не менее, у нас есть модель смешанного эффекта с фиксированным эффектом лечения и случайным эффектом субъекта.

Мои вопросы, таким образом, таковы:

1. Существует ли однородность предположения о дисперсии в линейной смешанной модели, аналогичной традиционной модели линейной регрессии? Если да, что конкретно означает это предположение в контексте задачи о линейной смешанной модели, изложенной выше? Каковы другие важные предположения, которые необходимо оценить?

Мои мысли: ДА. допущения (я имею в виду, среднее значение с нулевой ошибкой и равная дисперсия) все еще отсюда: . В традиционной модели линейной регрессии мы можем сказать, что предположение состоит в том, что «дисперсия ошибок (или просто дисперсия зависимой переменной) постоянна на всех 3 уровнях лечения». Но я заблудился, как мы можем объяснить это предположение в условиях смешанной модели. Должны ли мы сказать, что «различия постоянны для трех уровней лечения, обусловливая предметы?» Или нет?$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$

2. Онлайновый документ SAS об остатках и диагностике влияния поднял два разных остатка, а именно: Маргинальные остатки , и Условные остатки , Мой вопрос: для чего используются два остатка? Как мы могли бы использовать их для проверки предположения об однородности? Для меня только маргинальные остатки могут быть использованы для решения проблемы однородности, так как это соответствует модели. Правильно ли мое понимание здесь? г с = У - Х β - Z γ = г м - Z γ .

   $$\mathbf{r_m = Y - X \hat{\boldsymbol \beta}}$$ $$\mathbf{r_c = Y - X \hat{\boldsymbol \beta} - Z \hat{\boldsymbol \gamma} = r_m - Z \hat{\boldsymbol \gamma}} .$$ $\boldsymbol \epsilon$

3. Существуют ли какие-либо тесты для проверки предположения об однородности в линейной смешанной модели? @Kam указал ранее на тест Левена , будет ли это правильный путь? Если нет, каковы направления? Я думаю, что после того, как мы подойдем к смешанной модели, мы сможем получить невязки и, возможно, сможем провести некоторые тесты (например, тест на пригодность?), Но не уверены, как это будет.

4. Я также заметил, что есть три типа остатков от Proc Mixed в SAS, а именно: Необработанный остаток , Исследованный остаток и остаток Пирсона . Я могу понять различия между ними с точки зрения формул. Но мне они кажутся очень похожими, когда дело доходит до реальных графиков данных. Так как же их использовать на практике? Есть ли ситуации, когда один тип предпочтительнее других?

5. Для примера реальных данных следующие два остаточных графика взяты из Proc Mixed в SAS. Как можно предположить, что предположение об однородности дисперсий?

[Я знаю, у меня есть пара вопросов здесь. Если бы вы могли высказать мне свои мысли по любому вопросу, это здорово. Не нужно обращаться ко всем из них, если вы не можете. Я действительно хочу обсудить их, чтобы получить полное понимание. Спасибо!]

Вот предельные (необработанные) остаточные участки.

Вот условные (необработанные) остаточные участки.

Я думаю, что вопросы 1 и 2 взаимосвязаны. Во-первых, отсюда вытекает однородность предположения о дисперсии, . Но это предположение можно смягчить до более общих дисперсионных структур, в которых допущение однородности не является необходимым. Это означает, что это действительно зависит от того, как предполагается распределение .$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$$\boldsymbol \epsilon$

Во-вторых, условные невязки используются для проверки распределения (таким образом, любых предположений, связанных с) , тогда как предельные невязки могут использоваться для проверки общей структуры дисперсии.$\boldsymbol \epsilon$

Это действительно широкая тема, и я приведу только общую картину о связи со стандартной линейной регрессией.

В модели, указанной в вопросе, если , где обозначает субъект или кластер. Пусть . Используя разложение Холецкого , мы можем преобразовать матрицу результатов и дизайна,

$$\mathbf{y_i \sim N(X_i\boldsymbol \beta, Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I)},$$ $\boldsymbol \gamma_i \sim N(\mathbf{0, D})$$i$$\mathbf{\Sigma_i=Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I}$$\mathbf{\Sigma_i=L_i L'_i}$ $$\mathbf{y^*_i=L_i^{-1}y_i; X^*_i=L_i^{-1}X_i}.$$

Как отмечено в Прикладном продольном анализе (стр. 268), обобщенная оценка наименьших квадратов (GLS) для (регрессия на ) может быть переоценена из регрессии OLS на . Таким образом, все встроенные остаточные средства диагностики из полученного OLS могут быть использованы здесь .y i X i y ∗ i X ∗ $\boldsymbol \beta$$\mathbf y_i$$\mathbf X_i$$\mathbf y^*_i$$\mathbf X^*_i$

Что нам нужно сделать, это:

1. оценка из (предельной) оценки остаточного или дисперсионного компонента в линейной смешанной модели;$\boldsymbol \Sigma_i$
2. заново установить регрессию OLS с использованием преобразованных данных.

Регрессия OLS предполагает независимые наблюдения с однородной дисперсией, поэтому к ее остаткам можно применять стандартные методы диагностики.

Гораздо больше подробностей можно найти в главе 10 «Остаточный анализ и диагностика» книги « Прикладной продольный анализ» . Они также обсуждали преобразование остатка с помощью , и есть некоторые графики (преобразованных) остатков (против предсказанных значений или предикторов). Дополнительные чтения перечислены в 10.8 «Дальнейшие чтения» и Библиографические примечания в них.$\mathbf L_i$

Кроме того, на мой взгляд, учитывая, что мы предполагаем, что независимы с однородной дисперсией, мы можем проверить эти предположения относительно условных невязок, используя инструменты стандартной регрессии.$\boldsymbol \epsilon$