Обоснование для модели с фиксированными и случайными эффектами в метаанализе

Я читал несколько публикаций, пытаясь оправдать использование модели с фиксированными эффектами с заявлениями в духе «модель с фиксированными эффектами была выбрана потому, что гетерогенность была низкой». Тем не менее, я обеспокоен тем, что это может быть неуместный подход к анализу данных.

Существуют ли причины или публикации, в которых обсуждается, может ли это быть ошибкой и почему?

Примечание. Если вы хотите получить быстрый ответ на свой вопрос об использовании теста гетерогенности для принятия этого решения, прокрутите вниз до пункта « Какие обоснования являются разумными? ».

Есть несколько обоснований (некоторые более / менее разумные, чем другие), которые предлагают исследователи для своего выбора мета-аналитического синтеза с фиксированными эффектами против случайных эффектов. Они обсуждаются во вводных учебниках мета-анализа, таких как Borenstein et al. (2009), Card (2011) и Cooper (2017).

Не осуждая и не оправдывая ни одно из этих оправданий (пока), они включают:

Обоснование выбора модели с фиксированными эффектами

1. Аналитическая простота . Некоторые люди считают, что расчет / интерпретация модели случайных эффектов выходит за рамки их статистического понимания, и поэтому придерживаются более простой модели. С моделью с фиксированным эффектом исследователь должен только оценить изменчивость в эффектах, вызванных ошибкой выборки. К лучшему или к худшему, это прагматичная практика, явно рекомендованная в Card (2011).

2. Предварительная вера в отсутствие изменчивости / модераторов на уровне исследования: если исследователь считает, что все размеры эффекта в их выборке изменяются только из-за ошибки выборки - и что нет систематической изменчивости на уровне исследования (и, следовательно, нет модераторов), будет Немного необходимости подгонять модель случайных эффектов. Я думаю, что это оправдание, и первое иногда идет рука об руку, когда исследователь считает, что модель случайных эффектов не подходит, а затем рационализирует это решение, утверждая, после тот факт, что они не ожидают какой-либо степени истинной гетерогенности на уровне обучения.

3. Систематические модераторы были исчерпывающе рассмотрены : некоторые исследователи могут использовать анализ с фиксированным эффектом после того, как они исследовали и учли каждого модератора, о котором они могут подумать. Основное обоснование здесь заключается в том, что, как только исследователь учтет каждый мыслимый / значимый источник изменчивости на уровне исследования, все, что можно оставить - это ошибка выборки, и, следовательно, модель случайных эффектов станет ненужной.

4. $Q$
5. Намерение делать ограниченные / конкретные выводы : модели с фиксированными эффектами подходят для того, чтобы говорить с шаблонами эффектов строго в пределах образца эффектов. Поэтому исследователь может оправдать подбор модели с фиксированными эффектами, если ему удобно говорить только о том, что происходит в их выборке, и не размышлять о том, что может произойти в исследованиях, пропущенных их обзором, или в исследованиях, которые следуют после их обзора.

Обоснование выбора модели случайных эффектов

6. Предварительное мнение об изменчивости / модераторах уровня исследования : в отличие от Обоснования 2. (в пользу моделей с фиксированными эффектами), если исследователь предвидит, что будет существенное количество изменчивости уровня исследования (и, следовательно, умеренности), они будут по умолчанию указывается модель случайных эффектов. Если вы пришли из психологии (я знаю), это становится все более рутинным / поощряемым стандартным способом мышления о размерах эффекта (например, см. Cumming, 2014).

7. $Q$$Q$$Q$

8. $Q$

9. Намерение делать широкие / обобщаемые выводы : в отличие от моделей с фиксированными эффектами, модели со случайными эффектами дают исследователю право говорить (до некоторой степени) за пределами их выборки, с точки зрения шаблонов эффектов / умеренности, которые будут воспроизводиться в более широкой литературе. Если этот уровень вывода желателен для исследователя, он может поэтому предпочесть модель случайных эффектов.

Последствия указания неправильной модели

Хотя это и не является явной частью вашего вопроса, я думаю, что важно указать, почему для исследователя важно «сделать это правильно» при выборе между моделями метаанализа с фиксированными и случайными эффектами: это в значительной степени сводится к оценке точность и статистическая мощность .

Модели с фиксированными эффектами являются более статистически мощными с риском получения искусственно точных оценок; Модели со случайными эффектами менее статистически эффективны, но потенциально более разумны, если существует истинная гетерогенность. В контексте тестов модераторов модели с фиксированным эффектом могут недооценивать степень дисперсии ошибок, в то время как модели со случайными эффектами могут переоценивать степень дисперсии ошибок (в зависимости от того, выполнены или нарушены их допущения при моделировании, см. Overton, 1998). Опять же, в литературе по психологии растет понимание того, что эта область слишком сильно полагается на метаанализ с фиксированными эффектами, и поэтому мы вводим себя в заблуждение в большей уверенности / точности наших эффектов (см. Schmidt et al. ., 2009).

Какие оправдания являются разумными?

$Q$$Q$$Q$ скорее всего, недостаточно для обнаружения значимой неоднородности (или избыточной мощности для обнаружения тривиальных величин неоднородности).

Аналитическая простота ( Обоснование 1. ) кажется еще одним оправданием для моделей с фиксированными эффектами, которые вряд ли будут успешными (по причинам, которые я считаю более очевидными). Утверждение, что все возможные модераторы были исчерпаны ( Обоснование 3. ), с другой стороны, может быть более убедительным в некоторых случаях, если исследователь может продемонстрировать, что они рассмотрели / смоделировали широкий диапазон переменных модератора. Если они только закодировали несколько модераторов, это оправдание, скорее всего, будет восприниматься как довольно неубедительное / хрупкое.

Позволить данным принимать решение с помощью модели случайных эффектов по умолчанию ( Обоснование 8. ), в которой я не уверен. Это, конечно, не активное / принципиальное решение, но в сочетании со сдвигом области психологии в сторону предпочтения моделей со случайными эффектами по умолчанию, оно может оказаться приемлемым (хотя и не особенно вдумчивым) обоснованием.

Это оставляет обоснования, связанные с предыдущими представлениями о распределении (ях) эффектов ( Обоснование 2. и Обоснование 6. ), и обоснованиями , относящимися к типам умозаключений, на которые исследователь желает получить лицензию ( Обоснование 5. и Обоснование 9.). Правдоподобие прежних представлений о распределении эффектов в значительной степени сводится к особенностям исследования, которое вы синтезируете; как отмечает Купер (2017), если вы синтезируете эффекты механистических / универсальных процессов, взятых из в значительной степени сходных контекстов / выборок, и в строго контролируемых средах, анализ с фиксированными эффектами может быть вполне разумным. Обобщение результатов повторений одного и того же эксперимента было бы хорошим примером того, когда эта аналитическая стратегия может быть желательной (см. Goh et al., 2016). Если, однако, вы синтезируете область, в которой конструкции, манипуляции, меры, контексты и характеристики выборки довольно сильно отличаются, становится все труднее утверждать, что кто-то изучает точноодинаковый эффект в каждом случае. И наконец, то, какие выводы вы хотите сделать, кажется вопросом личных предпочтений / вкуса, поэтому я не уверен, как можно начать спорить за / против этого оправдания, пока это кажется концептуально оправданным.

Ссылки

Боренштейн, М., Хеджес, Л.В., Хиггинс, JPT, & Ротштейн, HR (2009). Введение в метаанализ . Западный Суссекс, Великобритания: Wiley.

Card, NA (2011). Прикладной метаанализ для социологических исследований. Нью-Йорк, Нью-Йорк: Гилфорд Пресс.

Купер, Х. (2017). Обобщение исследований и метаанализ: пошаговый подход. Тысяча Дубов, Калифорния: Мудрец.

Камминг Г. (2014). Новая статистика: почему и как. Психологическая наука , 25 (1), 7-29.

Goh, JX, Hall, JA, & Rosenthal, R. (2016). Мини-мета-анализ ваших собственных исследований: некоторые аргументы о том, почему и учебник для начинающих о том, как. Социальная и личностная психология Компас , 10 (10), 535-549.

Овертон, RC (1998). Сравнение моделей с фиксированными и смешанными (случайными) эффектами для метааналитических тестов переменных переменных модератора. Психологические методы , 3 (3), 354-379.

Schmidt, FL, Oh, IS & Hayes, TL (2009). Модели фиксированных и случайных эффектов в метаанализе: свойства модели и эмпирическое сравнение различий в результатах. Британский журнал математической и статистической психологии , 62 (1), 97-128.

Вы просите, в частности, ссылки.

Классическая ссылка на это, вероятно, статья Хеджеса и Вевеи, озаглавленная «Модели с фиксированными и случайными эффектами в мета-анализе ».

Если вы работаете в сфере здравоохранения, соответствующая глава в Кокрановском руководстве, вероятно, является важным чтением и содержит много здравого смысла. В частности, он предлагает, когда мета-анализ вообще не следует рассматривать, а также четко различает, что делать с гетерогенностью, кроме простого подбора моделей случайных эффектов.