На вебинаре, проведенном на днях компанией по тестированию a / b, их резидент «Data Scientist» объяснил, что вам следует проверить свои результаты, повторно выполнив эксперимент. Исходя из этого, если вы выбрали 95% достоверности, существует вероятность 5% (1/20) ложного срабатывания. Если вы повторно запустите свой эксперимент с теми же ограничениями, то теперь будет 1/400 (я предполагаю, что они определили это как 0,05 ^ 2 = 1/400)
Это правильное утверждение? (т. е. «выполнить дважды, две статистически значимые победы = 1/400 вероятности ложного срабатывания»)? Это был бы лучший подход для повышения вашего уровня значимости?
С точки зрения бизнеса, меня беспокоит повторный запуск эксперимента, когда вы открываете большему количеству пользователей низкую страницу (обработку) и тем самым теряете потенциальные продажи.
Ответы:
Игнорируя вероятности ложного срабатывания на данный момент, я бы посмотрел на это так:
В любом случае вам следует провести третий эксперимент, чтобы быть уверенным. Это может быть хорошо для экспериментов, которые относительно недороги, но там, где стоимость потенциально высока (например, потеря клиентов), вам действительно нужно учитывать выгоду.
Глядя на вероятности, при первом запуске эксперимента вероятность ложного срабатывания составляет 1/20. Во второй раз, когда вы запускаете эксперимент, вероятность ложного срабатывания все еще составляет 1/20 (представьте, что это бросок кубика, где каждый бросок имеет 1/6 вероятности получить определенное число). Есть только 1/400 шансов получить два ложных срабатывания подряд.
Реальная проблема заключается в том, чтобы иметь четко определенную гипотезу со строгими процедурами и иметь размер выборки, уровень ошибок и доверительный интервал, с которым вы можете жить или позволить. Повтор эксперимента следует оставить для изучения
а не второй гадать результаты. Хотя объяснить это менеджерам легче, чем сделать.
источник
Да, это утверждение верно, если предположить, что ваш эксперимент идеален. Но получить идеальный эксперимент намного сложнее, чем это чувство дает доверие. Данные «реального мира» беспорядочны, сложны и, во-первых, их трудно интерпретировать. Существует огромный простор для некорректного анализа, скрытых переменных (очень редко "одни и те же ограничения") или недопонимания между специалистом по данным, выполняющим свою работу, и специалистом по маркировке, выполняющим свою.
С точки зрения бизнеса обеспечить хорошую методологию и не быть слишком уверенным в результатах; сложнее, чем вы думаете. Как только вы это сделаете, работайте над этими 5%.
источник