Я пытаюсь расширить свои знания в области статистики. Я родом из области физических наук с «основанным на рецептах» подходом к статистическому тестированию, где мы говорим, является ли оно непрерывным, нормально ли оно распределено - регрессия OLS .
В моем чтении я встретил термины: модель случайных эффектов, модель с фиксированными эффектами, маргинальная модель. Мои вопросы:
- Проще говоря, что они?
- Каковы различия между ними?
- Являются ли какие-либо из них синонимами?
- Где традиционные тесты, такие как регрессия OLS, ANOVA и ANCOVA, попадают в эту классификацию?
Просто пытаюсь решить, куда идти дальше с самообучением.
Ответы:
Этот вопрос частично обсуждался на этом сайте, как показано ниже, и мнения кажутся смешанными.
Все термины, как правило, относятся к продольным / групповым / кластеризованным / иерархическим данным и повторным измерениям (в формате расширенной регрессии и ANOVA), но имеют несколько значений в разных контекстах. Я хотел бы ответить на вопрос в формулах, основанных на моих знаниях.
Модель с фиксированными эффектами
Модель случайных эффектов
Маргинальная модель
Маржинальную модель обычно сравнивают с условной моделью (моделью случайных эффектов), а первая сфокусирована на среднем по совокупности (для примера возьмем линейную модель) тогда как последний имеет дело с условным средним значениемИнтерпретация и масштаб коэффициентов регрессии между маргинальной моделью и моделью случайных эффектов будут отличаться для нелинейных моделей (например, логистическая регрессия). Пусть , тогда
источник
Поправьте меня, если я здесь не прав:
Концептуально, есть четыре возможных эффекта: фиксированный перехват, фиксированный коэффициент, случайный перехват, случайный коэффициент. Большинство моделей регрессии являются «случайными эффектами», поэтому они имеют случайные перехваты и случайные коэффициенты. Термин «случайный эффект» вошел в употребление в отличие от «фиксированного эффекта».
«Фиксированный эффект» - это когда переменная влияет на часть выборки, но не на все. Простейшей версией модели с фиксированным эффектом (концептуально) будет фиктивная переменная для фиксированного эффекта с двоичным значением. Эти модели имеют один случайный перехват, фиксированные коэффициенты эффекта и случайные переменные коэффициенты.
Следующий уровень сложности (концептуально) - это когда фиксированный эффект не двоичный, а номинальный, со многими значениями. В этом случае генерируется модель с множеством перехватов (по одному для каждого из номинальных значений). Здесь вы получаете классические «множественные линии» модели данных панели , где каждый из «параметров» фиксированной переменной эффекта получает свой собственный эффект. Преимущество объединения всех различных рядов данных, зависящих от факторов, в одну регрессию (вместо того, чтобы делать каждый фактор фиксированного эффекта в качестве своей собственной регрессии) состоит в том, что вы можете объединить дисперсию всех различных эффектов в одном уравнении, и поэтому получить лучшие (более определенные) значения для всех ваших коэффициентов.
«Уровень три» усложнения может возникнуть, когда «фиксированный эффект» сам является случайной величиной, за исключением того, что его эффекты «фиксированы» и влияют только на подмножество выборки. В этот момент модель будет иметь случайный перехват, несколько фиксированных перехватов и несколько случайных переменных. Я думаю, что это то, что известно как модель «смешанных эффектов»?
Модели с «смешанным эффектом» используются для многоуровневого моделирования (MLM), поскольку «фиксированные эффекты» могут использоваться для вложения одного подмножества данных в другое. Эта группировка может иметь несколько уровней, при этом учащиеся размещаются в классах, а в школах. Школа оказывает фиксированное влияние на классные комнаты, а классные комнаты - на учеников. (Школа может или не может иметь фиксированное влияние на ученика, в зависимости от плана эксперимента - не уверен)
Панельные модели данных являются моделями с «смешанным эффектом», но для группировки используются два измерения, обычно время и категория.
источник