Вопросы с тегом «ab-test»

28
Вычисление повторяемости эффектов по модели Лмера

Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc =...

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit
22
Безопасное определение размера образца для A / B-тестирования

Я - инженер-программист, желающий создать инструмент A / B-тестирования . У меня нет основательной статистики, но за последние несколько дней я немного читал. Я следую методологии, описанной здесь, и суммирую соответствующие пункты ниже. Этот инструмент позволит дизайнерам и экспертам по доменам...

hypothesis-testing statistical-significance proportion ab-test
18
Как можно разработать правило остановки в анализе мощности двух независимых пропорций?

Я разработчик программного обеспечения, работающий над системами A / B-тестирования. Я не обладаю достаточным опытом в области статистики, но последние несколько месяцев собираю знания. Типичный тестовый сценарий предполагает сравнение двух URL-адресов на веб-сайте. Посетитель посещает,...

power-analysis ab-test sequential-analysis optimal-stopping
13
Почему неправильно останавливать тестирование A / B до достижения оптимального размера выборки?

Я отвечаю за представление результатов A / B-тестов (на разных сайтах) в моей компании. Мы запускаем тест в течение месяца, а затем регулярно проверяем p-значения до тех пор, пока не достигнем значимости (или откажемся, если значимость не будет достигнута после длительного выполнения теста), что я...

hypothesis-testing statistical-significance bias ab-test optimal-stopping
12
Какой статистический тест использовать для теста А / Б?

У нас есть две когорты по 1000 образцов в каждой. Мы измеряем 2 величины в каждой когорте. Первая - это двоичная переменная. Второе - действительное число, которое следует за распределением тяжелых хвостов. Мы хотим оценить, какая группа лучше всего подходит для каждой метрики. Есть много...

ab-test
11
Проверка веб-тестов a / b путем повторного запуска эксперимента - это действительно ли так?

На вебинаре, проведенном на днях компанией по тестированию a / b, их резидент «Data Scientist» объяснил, что вам следует проверить свои результаты, повторно выполнив эксперимент. Исходя из этого, если вы выбрали 95% достоверности, существует вероятность 5% (1/20) ложного срабатывания. Если вы...

probability hypothesis-testing statistical-significance ab-test
10
Формула для байесовского А / Б тестирования не имеет никакого смысла

Я использую формулу из байесовского ab-тестирования , чтобы вычислить результаты теста AB, используя байесовскую методологию. Pr ( pВ> рA) = ∑я = 0αВ- 1B ( αA+ я , βВ+ βA)( βВ+ i ) B ( 1 + i , βВ) B ( αA, βA)Pr(пВ>пA)знак равноΣязнак равно0αВ-1В(αA+я,βВ+βA)(βВ+я)В(1+я,βВ)В(αA,βA) \Pr(p_B >...

r bayesian ab-test