На каком уровне тест математически идентичен тесту пропорций?

15

ФОН: Пропустите безопасно - это здесь для справки, и чтобы узаконить вопрос.

Открытие этой статьи гласит:

«Знаменитый критерий непредвиденных обстоятельств Карла Пирсона по хи-квадрату получен из другой статистики, называемой z-статистикой, основанной на нормальном распределении. Можно показать, что самые простые версии математически идентичны эквивалентным z-тестам. Тесты дают тот же результат при любых обстоятельствах. Для всех намерений и целей «хи-квадрат» можно было бы назвать «z-квадратом». Критические значения для одной степени свободы являются квадратом соответствующих критических значений z ».χ2χ2

Это было заявлено несколько раз в резюме ( здесь , здесь , здесь и другие).

И действительно, мы можем доказать, что эквивалентно с :χ1df2X2XN(0,1)

Допустим, что и и найдем плотность с помощью метода :XN(0,1)Y=X2Ycdf

p(Yy)=p(X2y)=p(yxy) . Проблема в том, что мы не можем интегрировать в близкой форме плотность нормального распределения. Но мы можем выразить это:

FX(y)=FX(y)FX(y).
Взяв производную:

fX(y)=FX(y)12y+FX(y)12y.

Поскольку значения нормали pdf симметричны:

fX(y)=FX(y)1y . Приравнивая это кpdfнормали (теперьxвpdfбудетy подключить к часть нормальногоpdf); и не забывая включить1ex22pdf в конце:1y

fX(y)=FX(y)1y=12πey21y=12πey2y121

Сравните с pdf квадрата хи:

fX(x)=12ν/2Γ(ν2)ex2xν21

Так как , для1df, мы вывели именноpdfквадрата хи.Γ(1/2)=π1pdf

Кроме того, если мы будем называть функцию prop.test()в R мы вызываете такую же тест , как если мы решим на .χ2chisq.test()

ВОПРОС:

Таким образом, я получил все эти пункты, но я все еще не знаю, как они применяются к фактической реализации этих двух тестов по двум причинам:

  1. Z-тест не в квадрате.

  2. Фактическая статистика тестов совершенно иная:

Значение тест-статистики для χ2 составляет:

гдеχ2=i=1n(OiEi)2Ei=Ni=1npi(Oi/Npipi)2

= совокупная тестовая статистика Пирсона, которая асимптотически приближается краспределению χ 2 . O i = количество наблюдений типа i ; N = общее количество наблюдений; E i = N p i = ожидаемая (теоретическая) частота типа i , утверждаемая нулевой гипотезой о том, что доля типа i в популяции равна p i ; n = количество ячеек в таблице.χ2χ2OiiNEiNpiiipin

С другой стороны, тестовая статистика для теста :z

сp=x1Z=x1n1x2n2p(1p)(1/n1+1/n2) , гдеx1иx2- количество «успехов» по ​​количеству субъектов на каждом из уровней категориальных переменных, то естьn1иn2.p=x1+x2n1+n2x1x2n1n2

Эта формула, кажется, опирается на биномиальное распределение.

Эти две статистики тестов явно различаются и приводят к различным результатам для фактической статистики тестов, а также для p- значений : 5.8481для и для z-теста, где 2,4183 2 = 5,84817 (спасибо, @ mark999 ). Р -значение для χ 2 теста , в то время как для г-тест . Разница объясняется двусторонним и односторонним: 0,01559 / 2 = 0,007795 (спасибо @amoeba).χ22.41832.41832=5.84817χ20.015590.00770.01559/2=0.007795

Так на каком уровне мы говорим, что они одно и то же?

Антони Пареллада
источник
Но это два одинаковых теста. Z в квадрате - это статистика хи-квадрат. Пусть у вас есть таблица частот 2х2, где столбцы - это две группы, а строки - «успех» и «сбой». Тогда так называемые ожидаемые частоты теста хи-квадрат в данном столбце - это взвешенный (на N) средний профиль столбца (группы), умноженный на N. этой группы. Таким образом, получается, что хи-квадрат тестирует отклонение профили каждой из двух групп из этого среднего профиля группы, что эквивалентно проверке различий между профилями групп, z-критерию пропорций.
ttnphns
В примере с последней гиперссылкой является почти квадратом статистики z-критерия, но не совсем, и значения p отличаются. Кроме того, если вы посмотрите на формулы для остальной статистики выше, действительно ли сразу же они идентичны? Или даже один квадрат другого? χ2
Антони Пареллада
2
В chisq.test(), вы пытались с помощью correct=FALSE?
mark999
1
Действительно, Антони. Оба теста существуют с или без Йейтса. Может быть, вы вычислили одно с другим, а другое без него?
ttnphns
1
Спасибо! Вы были (как и ожидалось) правы. С отключенной коррекцией Йейтса один - это просто квадрат другого. Я соответственно отредактировал вопрос, хотя и немного быстро. Я все еще хотел бы доказать алгебраически, что обе тестовые статистики одинаковы (или один квадрат другого), и понять, почему p-значения различны.
Антони Пареллада

Ответы:

12

Let us have a 2x2 frequency table where columns are two groups of respondents and rows are the two responses "Yes" and "No". And we've turned the frequencies into the proportions within group, i.e. into the vertical profiles:

      Gr1   Gr2  Total
Yes   p1    p2     p
No    q1    q2     q
      --------------
     100%  100%   100%
      n1    n2     N

The usual (not Yates corrected) χ2 of this table, after you substitute proportions instead of frequencies in its formula, looks like this:

n1[(p1p)2p+(q1q)2q]+n2[(p2p)2p+(q2q)2q]=n1(p1p)2+n2(p2p)2pq.

p=n1p1+n2p2n1+n2, the element of the weighted average profile of the two profiles (p1,q1) and (p2,q2), and plug it in the formula, to obtain

...=(p1p2)2(n12n2+n1n22)pqN2

Divide both numerator and denominator by the (n12n2+n1n22) and get

(p1p2)2pq(1/n1+1/n2)=Z2,

the squared z-statistic of the z-test of proportions for "Yes" response.

Thus, the 2x2 homogeneity Chi-square statistic (and test) is equivalent to the z-test of two proportions. The so called expected frequencies computed in the chi-square test in a given column is the weighted (by the group n) average vertical profile (i.e. the profile of the "average group") multiplied by that group's n. Thus, it comes out that chi-square tests the deviation of each of the two groups profiles from this average group profile, - which is equivalent to testing the groups' profiles difference from each other, which is the z-test of proportions.

This is one demonstration of a link between a variables association measure (chi-square) and a group difference measure (z-test statistic). Attribute associations and group differences are (often) the two facets of the same thing.


(Showing the expansion in the first line above, By @Antoni's request):

n1[(p1p)2p+(q1q)2q]+n2[(p2p)2p+(q2q)2q]=n1(p1p)2qpq+n1(q1q)2ppq+n2(p2p)2qpq+n2(q2q)2ppq=n1(p1p)2(1p)+n1(1p11+p)2p+n2(p2p)2(1p)+n2(1p21+p)2ppq=n1(p1p)2(1p)+n1(pp1)2p+n2(p2p)2(1p)+n2(pp2)2ppq=[n1(p1p)2][(1p)+p]+[n2(p2p)2][(1p)+p]pq=n1(p1p)2+n2(p2p)2pq.

ttnphns
источник
@ttnphs This is great! Any chance you could clarify the intermediate step in the first equation (χ2) formula - I don't see how the q's go away after the equal sign.
Antoni Parellada
@ttnphs When I expand it I get n1[(p1p)2p+(q1q)2q]+n2[(p2p)2p+(q2q)2q]=n1(q(p2+p(2p12q1+p12)+p(q2+q12)pq)+n2(q(p2+p(2p22q2)+p22)+p(q2+q22)pq)
Antoni Parellada
@ttnphs ... Or some reference so it's less work to type the latex... And I'll promptly and happily 'accept' the answer...
Antoni Parellada
@Antoni, expansion inserted.
ttnphns
@ttnphns Awesome!
Antoni Parellada