Плюсы и минусы метаанализа

Я подумывал о том, чтобы провести некоторый метаанализ для конкретной области изучения эволюции, но прежде чем идти дальше, я хотел бы узнать; Каковы положительные и отрицательные стороны процесса? Например, отсутствие необходимости в практическом эксперименте является преимуществом (время и деньги), но будет предвзятость публикации (будут опубликованы более интересные результаты), что будет недостатком.

Какие статьи в журналах статистики обсуждают плюсы и минусы метаанализа?

Введение в метаанализ Боренштейна, Хеджеса, Хиггинса и Ротштейна дает подробное обсуждение плюсов и минусов метаанализа. См., Например, главу « Критика мета-анализа », где авторы отвечают на различные критические замечания мета-анализа. Я отмечаю заголовки разделов для этой главы, а затем делаю несколько замечаний по памяти, которые относятся к этому вопросу:

• «одно число не может суммировать область исследования»: хороший метаанализ будет моделировать изменчивость в истинных величинах эффекта и моделировать неопределенность оценок.
• «проблема с хранилищем файлов делает недействительным метаанализ»: графики воронки и связанные с ними инструменты позволяют увидеть, связан ли размер выборки с размером эффекта, чтобы проверить смещение публикации. Хороший метаанализ позволяет получить неопубликованные исследования. Эта проблема является частью повествовательных исследований.
• «Смешивание яблок и апельсинов». Хороший метаанализ обеспечивает строгую систему кодирования для классификации включенных исследований и обоснования включения и исключения исследований в метаанализ. После того, как исследования были классифицированы, может быть проведен модераторский анализ, чтобы увидеть, варьируются ли размеры эффекта в зависимости от типа исследования.
• «Важные исследования игнорируются»: вы можете указать для оценки качества исследований. Большим образцам можно придать больший вес.
• «метаанализ может не согласиться с рандомизированными исследованиями»:
• «Мета-анализ выполняется плохо»: это всего лишь аргумент в пользу улучшения стандартов мета-аналитических методов.
• «Повествовательный обзор лучше?»: Многие критические замечания мета-анализа (например, предвзятость публикации) разделяются повествовательными обзорами. Просто методы вывода менее явны и менее строги в повествовательных обзорах.

По моему опыту их выполнения, если они не были сделаны раньше, так как вы не предоставляете свой собственный поворот в области, то у правильных журналов нет предвзятости по отношению к ним. Мета-анализ не получится в науке, но в вашей области хорошие журналы обычно хороши с новыми мета-анализами.

Экономия времени и средств без проведения эксперимента часто сводится к тому, чтобы заниматься другими делами. Одним из важных моментов является то, что многие статьи не содержат достаточно информации для анализа. Вам часто приходится связываться с авторами, чтобы восстановить это, и они, к сожалению, часто или не могут или не будут выполнять запросы. Это самая большая временная задержка процесса.

Вы также пропустили некоторые плюсы, такие как высокие показатели цитирования. Если вы являетесь первым и единственным метаанализом, новые исследователи очень часто будут ссылаться на вашу статью. Другой профессионал - относительно легкое исследование. Через год или два в динамичной области обучения вам просто нужно добавить следующие два года исследований для последующего метаанализа. Относительно легко провести метаанализ в области исследования, если вы являетесь первопроходцем. Это приводит к относительно высоким показателям цитирования.

Если вы обеспокоены тем, что результаты, которые вы получаете из литературы, имеют предвзятость публикации, существуют статистические методы, такие как графики воронок (размер исследования (часто -se) на оси у и влияние на х), которые можно использовать для обнаружить такое. Объективная литература по этому вопросу будет иметь результаты, симметричные на воронкообразном графике, но эффект из-за систематической ошибки публикации будет выглядеть намного больше, как будто это только половина распределения. И в отличие от проведения экспериментов, обнаружение того, что данные, поступающие в метаанализ, являются предвзятыми, публикуется

Я думал, что буду критиковать «Критику мета-анализа» с извинениями перед Майклом Боренштейном и коллегами.

• «одно число не может суммировать область исследования»: хороший метаанализ будет моделировать изменчивость в истинных величинах эффекта и моделировать неопределенность оценок.

! Дисперсия - это еще одно, возможно, вводящее в заблуждение краткое изложение, равно как и неопределенность, и оба будут очень вводящими в заблуждение, если с предубеждениями, которые почти наверняка существуют, явно не обращаются.

• «проблема с хранилищем файлов делает недействительным метаанализ»: графики воронки и связанные с ними инструменты позволяют увидеть, связан ли размер выборки с размером эффекта, чтобы проверить смещение публикации. Хороший метаанализ позволяет получить неопубликованные исследования. Эта проблема является частью повествовательных исследований.

! Как однажды сказал Бокс - как отправка гребной лодки, чтобы посмотреть, достаточно ли спокойны моря для того, чтобы королева Мэри могла туда попасть. Очень низкая мощность и почти наверняка неверно заданный процесс цензуры .

• «Смешивание яблок и апельсинов». Хороший метаанализ обеспечивает строгую систему кодирования для классификации включенных исследований и обоснования включения и исключения исследований в метаанализ. После того, как исследования были классифицированы, может быть проведен модераторский анализ, чтобы увидеть, варьируются ли размеры эффекта в зависимости от типа исследования.

! Опять безнадежная власть и, как правило, предвзятость.

• «Важные исследования игнорируются»: вы можете указать для оценки качества исследований. Большим образцам можно придать больший вес.

! Теперь безнадежная сила, неправильная спецификация модели и смещение не всегда должным образом учитываются. См. Смещение, вызванное показателями качества в мета-анализе.

• «метаанализ может не согласиться с рандомизированными исследованиями»:

! Полностью согласен, а также единственный источник о реальной неопределенности их.

• «Мета-анализ выполняется плохо»: это всего лишь аргумент в пользу улучшения стандартов мета-аналитических методов.

! Полностью согласен.

• «Повествовательный обзор лучше?»: Многие критические замечания мета-анализа (например, предвзятость публикации) разделяются повествовательными обзорами. Просто методы вывода менее явны и менее строги в повествовательных обзорах.

! Полностью согласен.

Не уверен, почему большая часть литературы мета-анализа содержит такие розовые очки - мета-анализы должны быть выполнены Мета-анализ в медицинских исследованиях: Сильный стимул для более высокого качества в отдельных исследовательских усилиях , но должен быть сделан критически с полной осведомленностью всех сусла.

И, как я почти всегда забываю, мне нужно уточнить, что именно я подразумеваю под метаанализом, поскольку то, что другие понимают под этим, менялось во времени и в разных местах и, возможно, наиболее часто встречается сегодня - только количественные методы, используемые для извлеченных чисел, полученных в систематическом обзоре - не то, что я имею в виду. Я имею в виду весь процесс систематического обзора, даже если принято решение вообще не использовать какие-либо количественные методы. Или только в одном предложении, как указано в вики

В статистике метаанализ относится к методам, сфокусированным на сопоставлении и объединении результатов различных исследований, в надежде выявить закономерности среди результатов исследований, источники разногласий между этими результатами или другие интересные отношения, которые могут выявиться в контексте множественные исследования.