Когда (если когда-либо) будет хорошей идеей сделать анализ мощности после события?

Насколько я понимаю, анализ мощности является постфактумным, если и только если он использует наблюдаемый размер эффекта в качестве величины целевого эффекта населения.

power-analysis user1205901 - Восстановить Монику
источник

Ответы:

В моей области я вижу людей, которые проводят анализ силы после того, как цель статьи состоит в том, чтобы показать, что некоторый эффект, который можно было бы ожидать (либо из-за предыдущей литературы, здравого смысла и т. Д.), По крайней мере, не соответствует в какой-то значимости теста.

Однако в этих ситуациях исследователь находится в некотором затруднении - он или она, возможно, получили незначительный результат, либо потому, что эффект действительно отсутствует у населения, либо потому, что исследование не было достаточно мощным, чтобы обнаружить эффект, даже если он присутствовал. Цель анализа мощности, таким образом, состоит в том, чтобы показать, что, учитывая даже незначительный эффект в популяции, исследование имело бы высокую вероятность обнаружения этого эффекта.

Конкретный пример такого использования анализа мощности после обработки см. В этой связанной статье.

Патрик С. Форшер
источник

Это, безусловно, звучит разумно. Основываясь на вашем ответе, я бы пришел к выводу, что иногда есть веская причина для проведения анализа мощности. То есть, если не существует какого-либо более совершенного метода, показывающего, что, учитывая даже тривиально малый популяционный эффект, исследование будет иметь высокую вероятность обнаружения этого эффекта. Вы знаете какой-нибудь такой метод?

user1205901 - Восстановить Монику

Я думаю, что этот метод - это как раз анализ мощности. Я полагаю, что одним из альтернативных методов может быть использование байесовских методов вместо проверки гипотезы Пирсона, но в моей области (психология) проверка гипотезы Пирсона все еще является доминирующей статистической парадигмой.

Патрик С. Форшер

Существует огромная проблема с описанным подходом. Средство всегда различается из-за различий в выборке, поэтому практически любой тест сможет обнаружить даже незначительный эффект при большой выборке (увеличьте n до 99999999999, и все может быть значительным). Кроме того, в случае отклоненной гипотезы я не совсем уверен, но вполне вероятно, что «полученная сила» будет всегда <0,5 (или, по крайней мере, в большинстве случаев). Таким образом, это всегда привело бы к заключению, что выборки было недостаточно.

Бруно

Бруно, твое утверждение неверно, если только популяционный эффект не равен нулю. Если эффект популяции равен нулю, тогда да, вы получите небольшие колебания наблюдаемого эффекта, но они будут небольшими и будут полностью описываться распределением выборки интересующего параметра, что приведет к значительному эффекту со скоростью, определяемой

α

$\alpha$

Патрик С. Форшер

Вы всегда можете рассчитать вероятность того, что исследование даст значительный результат для данного априорного размера эффекта. Теоретически, это должно быть сделано до того, как будет проведено исследование, потому что нет смысла проводить исследование с низкой мощностью, которое имеет низкий шанс получить значительный результат при наличии эффекта. Тем не менее, вы также можете вычислить мощность после исследования, чтобы понять, что исследование имело низкую мощность или, что маловероятно, высокую мощность, чтобы обнаружить даже небольшой эффект.

Термин post-hoc или наблюдаемая мощность используется для анализа мощности, в котором используются наблюдаемые величины эффекта в выборке для вычисления мощности в предположении, что величина наблюдаемого эффекта является разумной оценкой истинного размера эффекта. Многие статистики отмечают, что наблюдаемая мощность в одном исследовании не очень информативна, поскольку размеры эффекта не оцениваются с достаточной точностью, чтобы быть информативными. Совсем недавно исследователи начали изучать наблюдаемую мощность для ряда исследований, чтобы выяснить, насколько сильны исследования в среднем и сообщают ли исследования о более значительных результатах, чем может оправдать фактическая мощность исследований.

https://replicationindex.wordpress.com/tag/observed-power/

Доктор р
источник

Итак, @ Dr-r, как кто-то может сослаться на первый упомянутый вид исследования? Есть ли правильное имя для этого? Я использовал функцию «post hoc» G * Power, но я использовал априорный размер эффекта. Причина, по которой я это делаю, заключается в том, что сначала я планировал использовать «угаданную» среднюю разницу и «угаданное» стандартное отклонение, и они сильно отличались от полученных. Кроме того, я не смог достичь запланированного размера выборки в обеих группах. Я не хочу использовать термин «post hoc» в моей статье, потому что люди могут ошибиться. Итак, у вас есть предложения?

Бруно