Размер выборки, необходимый для определения, какой из набора рекламных объявлений имеет самый высокий рейтинг кликов.

11

По профессии я дизайнер программного обеспечения и работаю над проектом для клиента, и я хотел бы убедиться, что мой анализ является статистически обоснованным.

Подумайте над следующим: у нас есть n рекламных объявлений (n <10), и мы просто хотим знать, какое объявление работает лучше всего. Наш рекламный сервер будет случайным образом показывать одну из этих объявлений. Успех, если пользователь нажимает на объявление - наш сервер отслеживает это.

Дано: Доверительный интервал: 95%

Вопрос: Каков примерный размер выборки? (Сколько всего объявлений мы должны показывать), почему? (помни, я дурачок)

благодаря

anova sample-size t-test rule-of-thumb Джонатан
источник
1
Не могли бы вы уточнить, что вы подразумеваете под «пределом погрешности 5%»?
OneStop
@onetop - хорошее разъяснение - я убрал его из вопроса. Я просто взял эту переменную из следующего калькулятора размера выборки: raosoft.com/samplesize.html Но я не думаю, что он имеет отношение к этому вопросу. Благодаря!
Джонатан
2
Для многих тестов вы можете рассчитать размер выборки так, чтобы тест достиг определенной мощности с учетом предполагаемого (фиксированного) размера эффекта. Другими словами, вы должны сначала указать эти вещи: 1) какой тест вы хотите использовать? 2) какую силу вы хотите иметь в этом тесте? обусловливающие 3) размер эффекта , который вы считаете интересным. 1) это то, с чем люди здесь могут вам помочь. 2) может быть связано с указанными вами 95%. 3) однако, что-то, что вы должны предоставить заранее: насколько разными должны быть вероятности, чтобы их можно было считать интересными разными?
Каракал
Так что, если мне нужно дать больше параметров, вы идете: 1. Тест для использования - не знаю - у вас есть предложения? 2. сила : даже после просмотра определения в википедии - я не знаю, как разумно ответить на это. 3. Размер эффекта : скажем, на 10% лучше
Джонатан

Ответы:

1

Вероятно, вам нужен тест Фишера . К сожалению, учитывая вероятную очень низкую частоту кликов и небольшой ожидаемый размер эффекта, вам потребуется огромное N, чтобы достичь желаемого доверительного интервала. Допустим, «истинный» рейтинг кликов вашего лучшего объявления составляет 0,11, а ваш второй лучший показатель - 0,1. Далее, допустим, вы хотите, чтобы вероятность того, что вы ошибочно отклонили нулевую гипотезу (что между двумя объявлениями нет разницы), была бы меньше, чем .20. Если это так, вам понадобится N порядка 10 000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Как предположил комментатор, вам, скорее всего, не следует беспокоиться о десятипроцентной разнице в эффективности рекламы. При больших различиях необходимый размер образцов быстро уменьшается.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785
fgregg
источник