В поисках реальной иллюстрации цитаты Фишера о DoE

Моя команда и я хотели бы сделать презентацию для статистиков компании о полезности планирования экспериментов. Эти не статистики также являются нашими клиентами, и они обычно не консультируются с нами перед сбором своих данных. Знаете ли вы реальные примеры, которые бы хорошо иллюстрировали известную цитату Фишера: «Позвонить статистику после завершения эксперимента - это не более, чем попросить его провести посмертное обследование: он может сказать, что эксперимент умер». из «. ? Предпочтительно мы ищем иллюстрацию в промышленном / фармацевтическом / биологическом контексте. Мы думаем о примере неубедительного статистического анализа, который мог бы быть успешным, если бы он был предварительно хорошо продуман, но, возможно, есть и другие возможные иллюстрации.

Я сталкивался с проектами, в которых экспериментатор хотел проверить между объектными эффектами, но проект был более подходящим для внутри объектных эффектов.

Например, один эксперимент состоял из 8 крыс, четырех на диете A и четырех на диете B, и вес крысы измеряли каждый день в течение четырех недель. Это было бы хорошо, если бы они интересовались временным эффектом каждой диеты, но цель состояла в том, чтобы исследовать различия в рационах.

Они думали, что, измеряя каждую крысу 28 раз, у них было много данных, но экспериментальной единицей для эффекта диеты была крыса, которой у них было только 4 для каждой обработки. Они могли бы измерить крыс 10 раз в день, но это не имело бы никакого значения, в конце концов, им нужно было больше крыс.

Я сделал некоторую работу для организации под названием Национальный фонд целиакии. Организация способствует повышению осведомленности общественности о целиакии и предоставляет контрольный список симптомов заболевания, которое включает непереносимость продуктов, содержащих глютен. Они провели опрос в Интернете, просто открыв его всем, кто хотел участвовать. За эти годы они собрали тысячи ответов от общественности. Однако они надеялись сделать выводы о широкой общественности на основе результатов опроса. Я должен был сказать им, что респонденты выбирались самостоятельно, а не случайным образом, и это могло создать смещение Поскольку степень смещения неизвестна, мы не можем сделать никакого вывода, несмотря на большой объем данных.

Теперь респонденты представлялись своеобразной группой. Многие очень серьезны и ответили, чтобы выразить обеспокоенность тем, что они или их родственники могут заболеть. Но было также много людей, которые отвечали мудро. Это было очевидно по поддельным именам, странным адресам электронной почты и почтовым адресам, которые они предоставили в своих ответах.

Я чувствовал, что данные были полезны только в исследовательском смысле, и частота ответов может быть полезна для формулирования гипотез, которые могут быть проверены в хорошо спланированном будущем обследовании. Но до сих пор к моим советам не прислушались, и они проводят еще один из этих легко выбираемых опросов в Интернете.

Некоторое время назад меня попросили проанализировать результаты эксперимента о том, как положение ночного хранилища фотоэлектрической солнечной батареи влияет на скорость накопления почвы на матрице. (Эти большие концентрирующие фотоэлектрические батареи следят за солнцем весь день, но ночью они обычно хранятся, направленными прямо вверх, так как это минимальная нагрузка для трекера.) Загрязнение является большой проблемой, поскольку оно значительно снижает выработку энергии и очистку это не дешево. Эксперимент проводился на поле из примерно 120 трекеров; западная половина была уложена вертикально, а восточная половина горизонтально (это совмещено с соединениями трекера с двумя инверторами, что дало бы преимущество в производстве энергии во время эксперимента, если в противном случае будет существенный эффект и нет особой схемы загрязнения, поэтому это не,

К сожалению, в пустыне с юго-юго-запада преобладает сильный ветер и большое здание к югу от западной части поля, «затеняя» (отчасти) большую часть западной части поля от выдуваемых ветром частиц , Кроме того, трекеры в некоторой степени «затеняют» друг друга от ветра. Следовательно, механизмы, с помощью которых накапливается почва (например, продуваемые ветром или оседающие), различаются по относительной величине по полю. Это, в свою очередь, подразумевает, что массивы накапливают почву с различной скоростью в зависимости от местоположения; это не маленький эффект.

Конечным результатом анализа было, по сути, то, что нельзя было предположить, что положение хранения имело значение, но мы никоим образом не могли исключить возможность того, что эффект был тривиальным, или определить с какой-либо большой уверенностью (на основе на данных) знак эффекта. Затем я разработал дополнительный эксперимент, назначив места хранения на основе местоположения массива, чтобы иметь возможность оценить «поверхность отклика» загрязнения по полю для обеих позиций хранения, оценить «оседание» против «порывов ветра» и Конечно, влияние угла хранения на оба из них. Этот эксперимент был довольно успешным, и мы смогли получить четкое представление о преимуществах вертикальной укладки всего через пару месяцев.

Коллега попросил меня «провести статистику» в исследовании, в котором рассматривается корреляция между определенным типом погодных явлений и сбоями в инфраструктуре, которая обычно приписывается простому износу. Коллега хотел посмотреть, действительно ли погодные явления способствуют провалу или нет. Команда людей уже потратила много времени и усилий на сбор огромного количества данных, и исследовательская работа была в значительной степени закончена, им просто нужен был кто-то, чтобы «сделать статистику» и заполнить последний кусочек раздела результатов.

Проблема заключалась в том, что они тщательно следили за тем, чтобы набор данных содержал только «интересные» периоды, в которые произошло рассматриваемое погодное событие. Это означало, что не было никакого способа сравнить частоту отказов во время событий с временем не-события. Я неоднократно пытался объяснить проблему, но они никогда не были действительно убеждены, потому что просто было так много данных, что, конечно, я мог что-то из этого извлечь.

К счастью, погодные явления все еще различались, и между степенью серьезности и частотой отказов было слабое соответствие, поэтому мы по крайней мере кое-что из этого спасли, но результат мог бы быть гораздо более определенным, если бы они думали о том, как «сделать статистику», прежде чем приступить к упражнению по сбору данных.