Расчет статистической мощности

22

Насколько я понимаю, мне нужно знать по крайней мере три аспекта (из четырех) моего предлагаемого исследования, чтобы провести анализ мощности, а именно:

  • тип теста - я собираюсь использовать r Пирсона и ANCOVA / Регрессия - GLM
  • уровень значимости (альфа) - я намерен использовать 0,05
  • ожидаемый размер эффекта - я намерен использовать средний размер эффекта (0,5)
  • размер образца

Кто-нибудь может порекомендовать хороший онлайн-калькулятор мощности, который я могу использовать для априорного расчета мощности. (Может ли SPSS выполнить априорный расчет мощности?)

Я столкнулся с GPower, но я ищу более простой инструмент!

Адхеш джош
источник
К сожалению, пакет SPSS не включает модуль для анализа мощности. Компания IBM SPSS продает отдельную программу для анализа мощности.
ttnphns
6
Я бы дал GPower шанс. С 20 или 30 минутами его изучения вы, вероятно, обнаружите, что он очень управляем - по крайней мере, для таких процедур, как корреляция, не обязательно для сложной регрессионной модели.
rolando2
Благодарность! Есть ли в GPower удобное руководство?
Adhesh Josh
Похоже, что это для заявки на получение гранта. Это неприятно производить и оценивать. Для хорошо используемых экспериментальных проектов (например, для исследований по геномной ассоциации) могут быть хорошо документированные специализированные калькуляторы. В противном случае, я думаю, что ответ Дж. Керна - правильный путь со следующим дополнением: пока вы работаете над ним, вы должны смоделировать диапазон наиболее важных параметров и представить график.
Лео Шальквик

Ответы:

43

Боюсь, это не тот ответ, который вы захотите услышать, но я все равно скажу это: постарайтесь противостоять искушению онлайн-калькуляторов (и сэкономьте свои деньги, прежде чем приобретать проприетарные калькуляторы).

Вот несколько причин, по которым: 1) все онлайн-калькуляторы используют разные обозначения и часто плохо документированы. Это пустая трата вашего времени. 2) SPSS действительно предлагает калькулятор мощности, но я никогда даже не пробовал его, потому что он был слишком дорогим для моего отдела! 3) Фразы типа «средний эффект» в лучшем случае вводят в заблуждение, а в худшем случае просто ошибочны для всех, кроме самых простых исследовательских проектов. Слишком много параметров и слишком много взаимодействия, чтобы можно было отогнать размер эффекта до одного числа в [0,1]. Даже если бы вы могли поместить это в одно число, нет никакой гарантии, что 0,5 Коэна соответствует «среднему» в контексте проблемы.

Поверьте мне, в конечном итоге лучше укусить пулю и научить себя, как использовать симуляцию в ваших интересах (и в интересах людей, с которыми вы консультируетесь). Сядьте с ними и выполните следующие шаги:

1) Выберите модель, которая подходит в контексте проблемы (похоже, вы уже работали над этой частью).

2) Проконсультируйтесь с ними, чтобы решить, какими должны быть нулевые параметры, поведение контрольной группы, что бы это ни значило в контексте проблемы.

3) Проконсультируйтесь с ними, чтобы определить, какими должны быть параметры, чтобы разница была практически значимой . Если существуют ограничения по размеру выборки, то это также должно быть указано здесь.

4) Имитируйте данные в соответствии с двумя моделями в 2) и 3) и запустите тест. Вы можете сделать это с помощью программного обеспечения в изобилии - выберите свой любимый и пойти на это. Посмотрите, отклонили вы или нет.

Nп^п^(1-п^)/N

Если вы проведете анализ мощности таким образом, вы обнаружите несколько вещей: A) было намного больше параметров, чем вы ожидали. Это заставит вас задуматься о том, как в мире можно свести их все в одно число, например «средний», - и вы увидите, что это невозможно, по крайней мере, не так просто. Б) Ваша сила будет намного меньше, чем рекламируют другие калькуляторы. C) Вы можете увеличить мощность, увеличив размер выборки, но будьте осторожны! Как и у меня, вы можете обнаружить, что для обнаружения «практически значимой» разницы вам нужен непомерно большой размер выборки.

Если у вас возникли проблемы с каким-либо из вышеперечисленных шагов, вы могли бы собраться с мыслями, сформулировать вопрос для CrossValidated, и люди вам помогут.

РЕДАКТИРОВАТЬ: В случае, если вы обнаружите, что вам абсолютно необходимо использовать онлайн-калькулятор, лучший из найденных мной - это страница Расса Лента по мощности и размеру выборки . Он существует уже давно, у него относительно полная документация, он не зависит от размеров консервированного эффекта и имеет ссылки на другие документы, которые актуальны и важны.

ДРУГОЕ РЕДАКТИРОВАНИЕ: По совпадению, когда возник этот вопрос, я был как раз в момент написания поста в блоге, чтобы конкретизировать некоторые из этих идей (в противном случае, я бы не ответил так быстро). Во всяком случае, я закончил это в прошлые выходные, и вы можете найти это здесь . Это не написано с учетом SPSS, но я бы поспорил, если бы человек был умным, он мог бы перевести его части в синтаксис SPSS.


источник
8
+1 Хороший ответ. Стоит указать на недостатки симуляции. (Альтернатива заключается в том, что кривые мощности можно рассчитать математически.) Моделирование становится громоздким, когда приходится манипулировать многими параметрами (такими как размер эффекта и размер выборки) или когда вы ищете какое-либо пороговое значение, например минимальный размер выборки. Даже приблизительное точное выражение для мощности может быть полезным для указания в целом, как ведет себя мощность и для определения начальных решений, которые можно отшлифовать с небольшим моделированием.
whuber
2
@whuber Спасибо, и вы абсолютно правы. Ваш комментарий напоминает мне, что часто есть неопределенность в параметрах null / alt (скудная информация, исследования пилотирования и т. Д.), Что добавляет еще один уровень сложности к подходу моделирования. Это еще одно преимущество математического подхода.
2
Вместо фиксирования значений неизвестных параметров полезно смоделировать их, назначив предварительное распределение по этим параметрам, а затем получить «предыдущую мощность» (это не байесовский подход, несмотря на концепцию предварительного распределения, поскольку мы смоделируем результат теста для частых участников)
Стефан Лоран
6
Есть две проблемы с симуляцией: изучение (решаемо) и выполнение шага 3. По моему опыту, никто из моих клиентов не хотел бы делать 3). У многих есть проблемы с указанием ЛЮБОГО размера эффекта. Попросить их указать параметры в (скажем) уравнении множественной регрессии ... ну, они не знали бы, как ответить, даже если они знают значение, они не захотят его указывать.
Питер Флом - Восстановить Монику
2
Стефан, да, вы правы, и именно это я имел в виду под дополнительным слоем, с которым я пытался общаться. @ Питер Вздох! да, я тоже с этим сталкивался. Я пытаюсь говорить о средствах, стандартных ошибках и т. Д., А затем отрабатываю как можно больше математики. Часть этого - коммуникационный барьер, который иногда является проблемой. Часть нежелания еще жестче, хотя. Раньше я сдавался и пытался заполнить пробелы самостоятельно, но редко получалось хорошо. То есть ответ по сути является выстрелом в темноте с завязанными глазами и стоящим задом наперед.