Можно ли пропустить данные из исследований, потому что они не значимы?

9

Я встречал это предложение, читая статью на sciencemag.org .

В конце были включены ответы только от 7600 исследователей в 12 странах, потому что остальные данные не считались статистически значимыми.

Это правильный способ исследования? Оставить результаты, потому что они не считались статистически значимыми?

statistical-significance sampling outliers theory вышеперечисленное
источник
Читатель отмечает, что отчет доступен по адресу eurodoc.net/index.php?s=file_download&id=122, и ссылается на нас конкретно на стр. 104-5 полного отчета (но я не знаю, где это доступно).
whuber
1
Это ссылка на полный отчет.
Аарон оставил переполнение стека
@ Аарон Спасибо. По какой-то причине моя первая попытка вызвала только 6-страничное резюме, но теперь ссылка работает нормально.
whuber

Ответы:

6

В отчете, цитируемом в комментарии Уубер, говорится на стр. 104 [стр. 114 в pdf]:

В опросе удалось активировать участие примерно 8 900 докторантов из более чем 30 стран ...

Затем, охватывая страницы 104-105, он говорит:

При проведении процедур очистки данных команда экспертов Евродока решила провести анализ силовых испытаний. Исходя из предположения о полностью заполненных вопросниках, которые приведут к много нормальному распределению, был использован силовой тест для оценки доверительного интервала. Это было сделано для проверки точности данных. Было решено принять максимальный уровень ошибки 6% с 95% доверительным интервалом. Потеря 16% размера выборки привела к выборке из 12 участвующих стран с 7600 участниками.

Так что не совсем понятно, почему именно 16% потерь в выборке, но предположение о неполных ответах, вероятно, верно. (И вы можете понять, почему репортер был сбит с толку.)

Карл
источник
5
Абзац со страниц 104-105 говорит сам за себя, документируя глупости.
Фрэнк Харрелл
13

Это предложение на самом деле не имеет смысла и явно ошибочно.

Данные не могут быть статистически значимыми или незначительными. В этих терминах можно говорить только об отношениях между данными, являющимися продуктом статистических тестов.

Если вопрос таков: можем ли мы исключить данные из нашего анализа, потому что включение этих данных означает, что мы не можем отвергнуть нулевую гипотезу? Ответ - очевидно, я надеюсь! Нет - нет . Цитируемое вами сообщение - это новостной репортаж, а не научная статья. Если бы это был рецензируемый документ, он никогда бы не попал.

Вероятно, данные не были включены, потому что есть существенные причины не включать эти данные. Возможно, как и предполагали другие, исключенные данные были неполными или были собраны с использованием других или несопоставимых методов.

Бенджамин Мако Хилл
источник
Надеюсь, что так... ;) .
FairMiles
7

Нет.

Я подозреваю, что репортер хотел сказать, что другие люди были опущены, потому что опросы были неполными или внутренне непоследовательными.

Харви Мотульский
источник
1
это также то, что я подозревал, но это предложение явно вводит в заблуждение ..
выше
2

Нет, но журналисты могут использовать технический жаргон совершенно бессмысленно.

Джон
источник