Доверительный интервал для хи-квадрат

10

Я пытаюсь найти решение для сравнения двух тестов "хи-квадрат". Точнее, я хочу сравнить результаты двух независимых экспериментов. В этих экспериментах авторы использовали хи-квадрат добротности, чтобы сравнить случайное предположение (ожидаемые частоты) с наблюдаемыми частотами. Два эксперимента получили одинаковое количество участников, и экспериментальные процедуры идентичны, только стимулы изменены. Результаты двух экспериментов показали значительный хи-квадрат (эксп. 1: X² (18) = 45; р <.0005 и эксп. 2: X² (18) = 79; р <.0001).

Теперь я хочу проверить, есть ли разница между этими двумя результатами. Я думаю, что решением может быть использование доверительных интервалов, но я не знаю, как рассчитать эти доверительные интервалы только с этими результатами. Или, может быть, тест для сравнения размера эффекта (W Коэна)?

У кого-нибудь есть решение?

Большое спасибо!

FD

Florian
источник
1
Привет, Флориан. Почему бы не использовать тест перестановки на разницу между квадратами хи?
Тал Галили
Привет и спасибо за ваш ответ! Просто потому, что я действительно не знаю тестов перестановок. Можно ли сделать перестановку только с двумя значениями хи-квадрат (у меня нет необработанных данных, только результаты)? Еще раз спасибо :)
Флориан

Ответы:

8

Очень ограниченная информация, которую вы имеете, безусловно, является серьезным ограничением! Однако вещи не совсем безнадежны.

При тех же предположениях, которые приводят к асимптотическому распределению для тестовой статистики одноименного теста на соответствие, тестовая статистика в рамках альтернативной гипотезы имеет асимптотически нецентральное распределение χ 2 . Если мы предположим, что два стимула а) значимы и б) имеют одинаковый эффект, соответствующая статистика теста будет иметь такое же асимптотическое нецентральное распределение χ 2 . Мы можем использовать это , чтобы построить тест - в основном, путем оценки параметра смещенности Л и , видя ли статистические данные испытаний далеко в хвостах нецентральном х 2 ( 18 , λ )χ2χ2χ2λχ2(18,λ^)распределение. (Это не значит, что этот тест будет иметь большую силу.)

Мы можем оценить параметр нецентральности, исходя из двух тестовых статистик, взяв их среднее значение и вычтя степени свободы (методы оценки моментов), получив оценку 44 или по максимальной вероятности:

x <- c(45, 79)
n <- 18

ll <- function(ncp, n, x) sum(dchisq(x, n, ncp, log=TRUE))
foo <- optimize(ll, c(30,60), n=n, x=x, maximum=TRUE)
> foo$maximum
[1] 43.67619

Хорошее согласие между нашими двумя оценками, не удивительно, учитывая две точки данных и 18 степеней свободы. Теперь для расчета p-значения:

> pchisq(x, n, foo$maximum)
[1] 0.1190264 0.8798421

Таким образом, наше p-значение равно 0,12, что недостаточно, чтобы отвергнуть нулевую гипотезу о том, что два стимула одинаковы.

λχ2(λ-δ,λ+δ)δзнак равно1,2,...,15δ и посмотрите, как часто наш тест отклоняет, скажем, на уровне достоверности 90% и 95%.

nreject05 <- nreject10 <- rep(0,16)
delta <- 0:15
lambda <- foo$maximum
for (d in delta)
{
  for (i in 1:10000)
  {
    x <- rchisq(2, n, ncp=c(lambda+d,lambda-d))
    lhat <- optimize(ll, c(5,95), n=n, x=x, maximum=TRUE)$maximum
    pval <- pchisq(min(x), n, lhat)
    nreject05[d+1] <- nreject05[d+1] + (pval < 0.05)
    nreject10[d+1] <- nreject10[d+1] + (pval < 0.10)
  }
}
preject05 <- nreject05 / 10000
preject10 <- nreject10 / 10000

plot(preject05~delta, type='l', lty=1, lwd=2,
     ylim = c(0, 0.4),
     xlab = "1/2 difference between NCPs",
     ylab = "Simulated rejection rates",
     main = "")
lines(preject10~delta, type='l', lty=2, lwd=2)
legend("topleft",legend=c(expression(paste(alpha, " = 0.05")),
                          expression(paste(alpha, " = 0.10"))),
       lty=c(1,2), lwd=2)

что дает следующее:

введите описание изображения здесь

Глядя на истинные нулевые точки гипотезы (значение по оси x = 0), мы видим, что тест является консервативным, поскольку он не отклоняется так часто, как указывал бы уровень, но в подавляющем большинстве случаев так. Как мы и ожидали, у него мало силы, но лучше, чем ничего. Интересно, есть ли лучшие тесты, учитывая очень ограниченный объем имеющейся у вас информации?

jbowman
источник
Я новичок в этом деле, могу ли я спросить вас, как запустить скрипт (если это был скрипт) из ответа jbowman. В моем случае попробуйте получить ИЛИ от 90% ДИ. Я очень признателен, если один из вас сможет мне это объяснить, и я использую PASW17
Привет ash6. На самом деле это скрипт для программного обеспечения R (для дополнительной информации: r-project.org ), а не синтаксис для PASW17. Таким образом, этот скрипт может быть запущен непосредственно в консоли R. Этот скрипт не вычисляет доверительные интервалы, но дает вам значение p (здесь точно> pchisq (x, n, foo $ максимум ==> [1] значение p = 0.1190264), соответствующее тесту на разницу между двумя экспериментами (здесь между двумя стимулами, в случае альтернативной гипотезы), и здесь мы не можем отвергнуть нулевую гипотезу о том , что два эксперимента дали одинаковые результаты.
Флориана
3

Вы можете получить V Крамера, который интерпретируется как корреляция, преобразовать его в Z Фишера, и тогда доверительный интервал будет простым (SE = 1 / sqrt (n-3): Z ± se * 1,96). После того, как вы получите концы CI, вы можете преобразовать их обратно в r.

Рассматривали ли вы все свои показатели в таблице на случай непредвиденных обстоятельств с дальнейшим измерением эксперимента?

Джон
источник
Я думал, что невозможно использовать Phi с добротностью Пирсона по хи-квадрату (1 переменная). Вот почему я говорил о w Коэна, но формулы действительно похожи (phi = X² / n и w = sqrt (X² / n))! Но если с помощью этого теста можно вычислить фи и применить преобразование r в z, согласитесь ли вы дать нам ссылку на цитату? Мы хотели бы использовать этот тест в статье, и немногие рецензенты могут быть очень требовательны к статистике. Это было бы такой большой помощью для нас! По поводу вашего вопроса: у нас нет необработанных данных, только значения X², df и p из опубликованной статьи. Большое спасибо за вашу помощь!
Флориан
Извините ... хотел записать V Крамера, а не фи. V Крамера можно использовать как фи.
Джон
И нет, у меня нет цитаты. Если у вас большой эффект, не имеет значения, есть ли небольшое смещение в этой мере. Если у вас нет большого эффекта, убедитесь, что вы не делаете большие кости из «значимости» любого теста.
Джон