Какие примеры скрытых переменных в контролируемых экспериментах есть в публикациях?

В этом документе:

Скрывающиеся переменные: некоторые примеры Брайан Л. Джойнер The American Statistician Vol. 35, № 4, ноябрь 1981 г. 227-233

Брайан Джоунер утверждает, что «рандомизация не является панацеей». Это противоречит распространенным утверждениям, таким как приведенное ниже:

Хорошо спроектированный эксперимент включает конструктивные особенности, которые позволяют исследователям исключать посторонние переменные в качестве объяснения наблюдаемой взаимосвязи между независимой переменной (ами) и зависимой переменной. Эти посторонние переменные называются скрытыми переменными.

Цитата была взята из этого вопроса и не имеет источника, но, по моему опыту, она отражает преобладающее отношение: примеры скрытой переменной и влиятельного наблюдения

Один из приведенных примеров заключается в том, что при тестировании безопасности (в частности, канцерогенеза) красного пищевого красителя № 40 на грызунах в семидесятых годах было обнаружено, что влияние положения клетки мешает исследованию. Сейчас я прочитал много журнальных статей, посвященных изучению канцерогенеза у грызунов, и никогда не видел, чтобы кто-либо сообщал о контроле этого эффекта.

Дальнейшее обсуждение этих исследований можно найти здесь: Пример статистики в процессе регулирования: эксперименты FD & C Red No. 40.

Я не мог найти неоплаченную версию, но вот выдержка:

На январской встрече мы представили предварительный анализ (14), который выявил сильную корреляцию между числом клеток в клетке и показателями смертности от RE (ретикулоэндотелиальная опухоль), которые варьировались от 17% (нижний ряд) до 32% (верхний ряд) (таблица). 2). Мы не могли бы объяснить эту сильную связь по полу, группе дозировки, стойке или положению. Последующий анализ (18) также показал, что положение в клетке (спереди и сзади) может коррелировать со смертностью без RE, а это положение со временем до смерти без RE.

Меня особенно интересует, почему в медицинской литературе возникает такая проблема с тиражированием, но примеры из всех областей приветствуются. Обратите внимание, что меня интересуют примеры из рандомизированных контролируемых экспериментов, а не наблюдательные исследования.

Несколько примеров из клинических исследований могут быть переменными, которые возникают после рандомизации - рандомизация не защищает вас от них вообще. Несколько из верхней части моей головы, которые были подняты в качестве возможности или были отмечены:

• Изменения в поведении после добровольного обрезания у взрослых мужчин для профилактики ВИЧ
• Дифференциальная потеря при наблюдении за лечением и контрольными руками РКИ
• Более конкретный пример может включать недавнее исследование «Преимущества универсального одевания и перчаток», посвященное профилактике внутрибольничных инфекций ( комментарий в блоге здесь , статья за платным доступом ). В дополнение к вмешательству и, возможно, из- за этого изменились как показатели гигиены рук, так и показатели контактов между пациентами и персоналом / посетителями.

Рандомизация защищает от любого из этих эффектов, потому что они возникают после рандомизации.

Вот один пример, который я нашел для данных микрочипов. Сообщалось, что измеренное выражение сильно коррелирует с положением на «фишках». Это тот случай, когда рандомизация положения образцов может привести к увеличению вероятности ошибки маркировки, поэтому те, кто выполняет техническую работу, могут предпочесть не рандомизировать, если они не считают это важным.

Случайное назначение экспериментальных единиц для лечения контролирует вероятность того, что любой фактор, кроме лечения, является причиной ассоциации (1,2) ⁠. На некоторых платформах с микрочипами, таких как Illumina® и NimbleGenTM, несколько биологических образцов могут быть гибридизованы с одним чипом. Эффекты расположения микросхем и образцов могут влиять на точность и воспроизводимость экспериментов с микрочипами, если в проекте эксперимента не учтены баланс и рандомизация (4). Нашей целью было сравнить влияние этих эффектов в смешанном и рандомизированном эксперименте.

Важность рандомизации в экспериментальных схемах на микрочипах с платформами Illumina

Рикардо А. Вердуго, Кристиан Ф. Дешеппер и Гари А. Черчилль. Лаборатория Джексона, Бар Харбор, ME 04609, Институт исследований клиник, Монреаль, КК, Канада.

У меня есть пример, который может несколько отличаться от того, что вы изначально предполагали, когда задавали этот вопрос. Прошлый год или два вызвали постоянную дискуссию в психологии о причине отсутствия воспроизводимости эффектов от рандомизированных экспериментов. Варианты этой дискуссии появлялись в течение многих лет, но эта дискуссия стала более резкой после публикации статьи, показывающей, что многие практики, которые являются стандартными в психологии при формулировании гипотез, сборе данных, анализе данных и представлении результатов позволяют исследователям находить результаты, подтверждающие даже произвольно выбранные гипотезы (в оригинальной статье исследователи использовали эти методы, чтобы показать, что слушание «Когда мне шестьдесят четыре» Битлз делает людей моложе).

Корень проблемы, конечно, заключается в том, что в психологии (и в других науках) широко распространены побудительные структуры для получения новых, положительных, «публикуемых» результатов. Эти стимулы побуждают ученых-исследователей внедрять методы, которые, хотя и не столь явно «неправильны», как фабрикация данных, тем не менее приводят к увеличению числа ложноположительных результатов. Эти практики включают в себя:

1. Коллекция множественных и очень похожих зависимых переменных. Сообщается только о зависимой переменной, которая дает результаты, наиболее соответствующие исходной гипотезе.
2. Во время сбора данных, многократное тестирование на значимые результаты и прекращение сбора данных при получении значимости.
3. Во время анализа включение нескольких ковариат в статистическую модель. В заключительной статье сообщается только о комбинации ковариат, которая приводит к результатам, наиболее совместимым с исходной гипотезой.
4. Отбрасывание условий, которые приводят к результатам, которые несовместимы с исходными гипотезами и не сообщают об этих условиях в статье.

И так далее.

Я бы сказал, что «скрытая переменная» в этих случаях - это структура стимулов, которая вознаграждает исследователей за получение положительных «публикуемых» результатов. Фактически, уже было несколько выдающихся результатов в психологии (многие из которых по моей специальности - социальная психология), которые не удалось воспроизвести. Многие утверждают, что эти неудачи в репликации ставят под сомнение целые подполя психологии.

Конечно, проблема стимулирующих структур, поощряющих ложные срабатывания, не уникальна для психологии; это проблема, которая присуща всей науке и, следовательно, всем рандомизированным контролируемым испытаниям.

Ссылки

Simmons, JP, Nelson, LD & Simonsohn, U. (2011). Ложноположительная психология: нераскрытая гибкость в сборе и анализе данных позволяет представить что-либо как существенное. Психологическая наука , 17, 1359-1366.

Носек Б.А., Шпионы Дж.Р. и Мотил М. (2012). Научная утопия: II. Перестройка стимулов и практики для продвижения правды над публикуемостью. Перспективы психологических наук , 7, 615-631.

Йонг, Э. (2012). Плохая копия. Природа , 485, 298-300.

Эбботт А. (2013). Спорные результаты - новый удар по социальной психологии. Природа , 497, 16.