Как сравнить среднее значение двух выборок, данные которых соответствуют экспоненциальному распределению

У меня есть два образца данных, базовый образец и образец лечения.

Гипотеза состоит в том, что образец лечения имеет более высокое среднее значение, чем базовый образец.

Оба образца имеют экспоненциальную форму. Поскольку данные довольно велики, у меня есть только среднее значение и количество элементов для каждого образца на момент проведения теста.

Как я могу проверить эту гипотезу? Я предполагаю, что это очень просто, и я столкнулся с несколькими ссылками на использование F-теста, но я не уверен, как отображаются параметры.

hypothesis-testing statistical-significance exponential Джонатан Добби
источник

Почему у вас нет данных? Если выборки действительно большие, непараметрические тесты должны работать отлично, но похоже, что вы пытаетесь запустить тест из сводной статистики. Это правильно?

Мимшот

Являются ли базовые значения и значения лечения для одного и того же набора пациентов независимыми?

Майкл М

@ Снимок, данные передаются в потоковом режиме, но вы правы, что я пытаюсь запустить тест из сводной статистики. Это работает довольно хорошо с Z-тестом для нормальных данных

Джонатан Добби

В этих условиях приблизительный z-тест, возможно, является лучшим, что вы можете сделать. Тем не менее, я бы больше заботился о том, насколько велик истинный эффект лечения, а не о статистической значимости. Помните, что при достаточно больших выборках любой крошечный истинный эффект приведет к небольшому значению p.

Майкл М

@january - хотя, если его размеры выборки достаточно велики, по CLT они будут очень близки к нормальному распределению. Согласно нулевой гипотезе, отклонения будут одинаковыми (как и средние значения), поэтому при достаточно большом размере выборки t-тест должен работать нормально; это не будет так хорошо, как вы можете сделать со всеми данными, но все равно будет в порядке. Например, было бы неплохо.

n_{1} = n_{2} = 100

$n_1 = n_2 = 100$

Jbowman

Ответы:

Вы можете проверить равенство средних параметров по сравнению с альтернативой, что средние параметры не равны, с помощью теста отношения правдоподобия (тест LR). (Однако, если средние параметры различаются, а распределение экспоненциально, это смещение масштаба, а не смещение местоположения.)

Для теста с одним хвостом (но только асимптотически в случае с двумя хвостами) я полагаю, что тест LR оказывается эквивалентным следующему (чтобы показать, что это на самом деле то же самое, что тест LR для одностороннего теста В случае, если нужно было бы показать, что статистика LR была монотонной в ): $\bar x/\bar y$

Допустим, мы параметризовали е наблюдение в первой экспоненте как имеющее pdf а е наблюдение во втором примере - как pdf (над очевидными областями для наблюдений и параметров). (Чтобы было ясно, мы работаем в средней форме, а не в форме ставки здесь; это не повлияет на результат расчетов.) $i$ $1/\mu_x \exp(-x_i/\mu_x)$ $j$ $1/\mu_y \exp(-y_j/\mu_y)$

Поскольку распределение является частным случаем гаммы, , распределение суммы ', является распределенным ; аналогично, что для суммы s, равно . $X_i$ $\Gamma(1,\mu_x)$ $X$ $S_x$ $\Gamma(n_x,\mu_x)$ $Y$ $S_y$ $\Gamma(n_y,\mu_y)$

Из-за связи между гамма-распределениями и распределениями хи-квадрат получается, что распределен . Соотношение двух хи-квадратов по степеням свободы равно F. Следовательно, отношение . $2/\mu_x S_x$ $\chi^2_{2n_x}$ $\frac{\mu_y}{\mu_x}\frac{S_x/n_x}{S_y/n_y} \sim F_{2n_x,2n_y}$

В соответствии с нулевой гипотезой равенства средних значений, и при двусторонней альтернативе значения могут иметь тенденцию быть либо меньшими, либо большими, чем значение из нулевого дистрибутива, так что вам нужен двусторонний тест. $\bar x/\bar y \sim F_{2n_x,2n_y}$

Симуляция, чтобы проверить, что мы не сделали какую-то простую ошибку в алгебре:

Здесь я смоделировал 1000 выборок размера 30 для и 20 для из экспоненциального распределения с тем же средним значением и вычислил вышеупомянутую статистику отношения средних величин. $X$ $Y$

Ниже приведена гистограмма полученного распределения, а также кривая, показывающая распределение мы вычислили под нулем: $F$

смоделированный пример распределения коэффициента статистики под нулевым

Пример с обсуждением вычисления двухсторонних p-значений :

Чтобы проиллюстрировать расчет, вот две маленькие выборки из экспоненциальных распределений. X-выборка имеет 14 наблюдений из популяции со средним значением 10, Y-выборка имеет 17 наблюдений из популяции со средним значением 15:

x: 12.173  3.148 33.873  0.160  3.054 11.579 13.491  7.048 48.836 
   16.478  3.323  3.520  7.113  5.358

y:  7.635  1.508 29.987 13.636  8.709 13.132 12.141  5.280 23.447 
   18.687 13.055 47.747  0.334  7.745 26.287 34.390  9.596

Средние значения выборки составляют 12,082 и 16,077 соответственно. Соотношение средних составляет 0,7515

Область слева прямолинейна, поскольку находится в нижнем хвосте (вычислено в R):

 > pf(r,28,34) 
 [1] 0.2210767

Нам нужна вероятность для другого хвоста. Если бы распределение было симметричным в обратном направлении, это было бы просто сделать это.

Общепринятым соглашением с F-тестом отношения дисперсий (который аналогично двухстороннему) является просто удвоение одностороннего p-значения (фактически то, что происходит, как здесь ; это также, как кажется, делается в R, например). ); в этом случае он дает значение р 0,44.

Однако, если вы сделаете это с формальным правилом отклонения, поместив область в каждый хвост, вы получите критические значения, как описано здесь . Тогда значение p является наибольшим значением которое может привести к отклонению, что эквивалентно добавлению вышеупомянутого p-значения с одним хвостом к одностороннему p-значению в другом хвосте для взаимозаменяемых степеней свободы. В приведенном выше примере это дает значение р 0,43. $\alpha/2$ $\alpha$

Glen_b - Восстановить Монику
источник

Я предполагаю, что это только я, будучи толстым, но откуда берется 0.7515?

Джонатан Добби

r = среднее (х) / среднее (у) = 0,7515 - то есть «соотношение средних»

Glen_b

Хорошо, круто Я получил 0,67, но это, вероятно, только из-за ошибки ввода данных.

Джонатан Добби

Я сделал различие между

средним

(+1) Но хотя это и тангенциально, я не понимаю последний абзац. Как удвоение одностороннего p-значения не эквивалентно нахождению наибольшего с областью в каждом хвосте, что может привести к отклонению? Зачем вам вообще менять степени свободы?

α

$\alpha$

\frac{α}{2}

$\frac{\alpha}{2}$

Scortchi - Восстановить Монику

В качестве дополнения к ответу @ Glen_b отношение правдоподобия составляет который вы можете переупорядочить в где . Существует один минимум при , поэтому F-критерий действительно является тестом отношения правдоподобия для односторонних альтернатив нулевой гипотезе идентичных распределений.

n_{x} \log \frac{n_{x}}{\sum x_{i}} + n_{y} \log \frac{n_{y}}{\sum y_{j}} - (n_{x} + n_{y}) \log \frac{n_{x} + n_{y}}{\sum x_{i} + \sum y_{j}}

$n_x\log \frac{n_x}{\sum x_i} +n_y \log \frac{n_y}{\sum y_j} -(n_x+n_y)\log\frac{n_x+n_y}{\sum x_i +\sum y_j}$

n_{x} \log (\frac{n_{x}}{n_{y}} + \frac{1}{r}) + n_{y} \log (\frac{n_{y}}{n_{x}} + r) + n_{x} \log \frac{n_{y}}{n_{x} + n_{y}} + n_{y} \log \frac{n_{x}}{n_{x} + n_{y}}

$n_x\log\left(\frac{n_x}{n_y} + \frac{1}{r}\right) + n_y\log\left(\frac{n_y}{n_x}+r\right) + n_x\log\frac{n_y}{n_x+n_y} + n_y\log \frac{n_x}{n_x+n_y}$

r = \frac{\bar{x}}{\bar{y}}

$r=\frac{\bar{x}}{\bar{y}}$

r = 1

$r=1$

Чтобы правильно выполнить тест отношения правдоподобия для двусторонней альтернативы, вы все равно можете использовать F-распределение; вам просто нужно найти другое значение отношения выборочных средств для которого отношение правдоподобия равно наблюдаемому отношению , а затем . Для этого примера , & , что дает общее значение p, равное (довольно близко к значению , полученному в приближении хи-квадрат к распределение в два раза больше логарифмического отношения правдоподобия, ). $r_\mathrm{ELR}$ $r_\mathrm{obs}$ $\Pr(R>r_\mathrm{ELR})$ $r_\mathrm{ELR}=1.3272$ $\Pr(R>r_\mathrm{ELR})=0.2142$ $0.4352$ $0.4315$

Но удвоение одностороннего p-значения, возможно, является наиболее распространенным способом получения двухстороннего p-значения: оно эквивалентно нахождению значения отношения выборочных средних для которых хвостовая вероятность равно , а затем найти . Объясняется так, что может показаться, что тележку ставят перед лошадью, чтобы вероятности хвоста определяли экстремальность статистики теста, но это может быть оправдано тем, что в действительности действуют два односторонних теста (каждый LRT) с множественными сравнениями. исправление - и люди обычно заинтересованы в утверждении, что или $r_\mathrm{ETP}$ $\Pr(R>r_\mathrm{ETP})$ $\Pr(R<r_\mathrm{obs})$ $\Pr(R>r_\mathrm{ETP})$ $\mu_x > \mu_y$ $\mu_x < \mu_y$ $\mu_x > \mu_y$ или . Это также меньше суеты, и даже для довольно небольших размеров выборки дает почти такой же ответ, как и сам двусторонний LRT. $\mu_x < \mu_y$

Код R следует:

x <- c(12.173, 3.148, 33.873, 0.160, 3.054, 11.579, 13.491, 7.048, 48.836,
       16.478, 3.323, 3.520, 7.113, 5.358)

y <- c(7.635, 1.508, 29.987, 13.636, 8.709, 13.132, 12.141, 5.280, 23.447, 
       18.687, 13.055, 47.747, 0.334,7.745, 26.287, 34.390, 9.596)

# observed ratio of sample means
r.obs <- mean(x)/mean(y)

# sample sizes
n.x <- length(x)
n.y <- length(y)

# define log likelihood ratio function
calc.llr <- function(r,n.x,n.y){
  n.x * log(n.x/n.y + 1/r) + n.y*log(n.y/n.x + r) + n.x*log(n.y/(n.x+n.y)) + n.y*log(n.x/(n.x+n.y))
}

# observed log likelihood ratio
calc.llr(r.obs,n.x, n.y) -> llr.obs

# p-value in lower tail
pf(r.obs,2*n.x,2*n.y) -> p.lo

# find the other ratio of sample means giving an LLR equal to that observed
uniroot(function(x) calc.llr(x,n.x,n.y)-llr.obs, lower=1.2, upper=1.4, tol=1e-6)$root -> r.hi

#p.value in upper tail
p.hi <- 1-pf(r.hi,2*n.x,2*n.y)

# overall p.value
p.value <- p.lo + p.hi

#approximate p.value
1-pchisq(2*llr.obs, 1)

Scortchi - Восстановить Монику
источник