Вы так часто сталкиваетесь в прессе с различными исследованиями, которые дают направленно противоположные результаты. Они могут быть связаны с тестированием нового отпускаемого по рецепту лекарства или заслугой конкретного питательного вещества или чего-либо еще в этом отношении.
Когда два таких исследования приводят к противоречивым результатам, как вы можете определить, какое из двух ближе всего к истине?
Ответы:
Я думаю, что ответа Джерома достаточно, если вы изучаете два экспериментальных исследования или фактический метаанализ. Но часто мы сталкиваемся с изучением двух неэкспериментальных исследований, и нам поручено оценить обоснованность этих двух разрозненных результатов.
Как следует из списка вопросов Сайруса , сама тема не поддается краткому ответу, и целые книги по существу направлены на решение такого вопроса. Для тех, кто заинтересован в проведении исследований не экспериментальных данных, я настоятельно рекомендую вам прочитать
Экспериментальные и квазиэкспериментальные проекты для обобщенного причинного следствия Уильяма Р. Шадиша, Томаса Д. Кука, Дональда Томаса Кэмпбелла (также я слышал, что старые версии этого текста так же хороши).
Несколько пунктов, которые упоминал Джероми (больший размер выборки и большая методологическая строгость), и все, что упоминает Сайрус, будет считаться тем, что Кэмпбелл и Кук называют «Внутренняя достоверность». К ним относятся аспекты плана исследования и статистические методы, используемые для оценки взаимосвязи между X и Y. В частности, в качестве критиков нас беспокоят аспекты, которые могут повлиять на результаты и снизить достоверность результатов. Поскольку это форум, посвященный статистическому анализу, большая часть ответов сосредоточена вокруг статистических методов для обеспечения объективных оценок любых отношений, которые вы оцениваете. Но они являются другими аспектами плана исследования, не связанными со статистическим анализом, которые снижают достоверность результатов, независимо от того, к какой суровой степени прибегают в их статистическом анализе (например, упоминание Сайрусом нескольких аспектов точности эксперимента можно рассмотреть, но не решить с помощью статистические методы, и если они произойдут, всегда будет снижать достоверность результатов исследований). Существует много других аспектов внутренней валидности, которые становятся критически важными для оценки при сравнении результатов не экспериментальных исследований, которые здесь не упомянуты, и аспектов проектов исследований, которые могут различать достоверность результатов. Я не думаю, что здесь уместно вдаваться в подробности,
Кэмпбелл и Кук также ссылаются на «внешнюю достоверность» исследований. Этот аспект дизайна исследования часто намного меньше по объему и не заслуживает такого большого внимания, как внутренняя достоверность. Внешняя валидность, по сути, имеет дело с обобщенностью выводов, и я бы сказал, что неспециалисты часто могут достаточно хорошо оценить внешнюю валидность, если они знакомы с предметом. Короткая история, прочитанная книга Шэдиша, Кука и Кэмпбелла.
источник
Анализ меты литература имеет отношение к вашему вопросу. Используя мета-аналитические методы, вы можете получить оценку влияния интереса, объединенного между исследованиями. Такие методы часто взвешивают с точки зрения размера выборки.
В контексте метаанализа исследователи говорят о моделях с фиксированным и случайным эффектом (см. Hunter and Schmidt, 2002 ). Модель с фиксированным эффектом предполагает, что все исследования оценивают один и тот же популяционный эффект. Модель случайных эффектов предполагает, что исследования различаются по оцениваемому эффекту населения. Модель со случайными эффектами обычно более уместна.
По мере того, как все больше исследований накапливается при рассмотрении конкретных отношений, становятся возможными более сложные подходы. Например, вы можете кодировать исследования с точки зрения различных свойств, таких как воспринимаемое качество, а затем эмпирически исследовать, изменяется ли величина эффекта в зависимости от этих характеристик исследования. Помимо качества, могут быть некоторые теоретически значимые различия между исследованиями, которые могут смягчить взаимосвязь (например, характеристика образца, уровни дозировки и т. Д.).
В целом, я склонен доверять исследованиям с:
Но это говорит о том, что вам необходимо сохранять случайную выборку и теоретически значимые различия между исследованиями в качестве правдоподобного объяснения противоречивых результатов исследования.
источник
Я бы не стал рассматривать метаанализ до тех пор, пока вы не изучите источники на предмет возможного смещения или отклонений в целевых группах населения. Если это исследования эффектов лечения, назначалось ли лечение случайным образом? Были ли отклонения от протокола? Было ли несоблюдение? Отсутствуют ли данные о результатах? Образцы были взяты из одного кадра? Был ли отказ от участия? Ошибки реализации? Правильно ли рассчитывались стандартные ошибки с учетом кластеризации и устойчивы ли они к различным параметрическим допущениям? Только после того, как вы ответили на эти вопросы, я думаю, что проблемы мета-анализа начинают входить в картину. Должно быть редким, что для любых двух исследований уместен метаанализ, если только вы не готовы сделать какие-то героические предположения.
источник