Как соотносятся корреляции Гудмана-Крускала и тау Кендалла или Спирмена?

В моей работе мы сравниваем прогнозируемые рейтинги с истинными рейтингами для некоторых наборов данных. До недавнего времени мы использовали только Кендалл-Тау. Группа, работающая над аналогичным проектом, предложила нам вместо этого использовать Гудман-Крускал Гамма и предпочла это. Мне было интересно, каковы различия между различными алгоритмами корреляции ранга.

Лучшее, что я нашел, был этот ответ , в котором утверждается, что Спирмен используется вместо обычных линейных корреляций, и что Кендалл-Тау менее прямолинейен и более близок к Гудману-Крускалу Гамма. Данные, с которыми я работаю, не имеют очевидных линейных корреляций, а данные сильно искажены и ненормальны.

Кроме того, Спирмен обычно сообщает о более высокой корреляции, чем Кендалл-Тау, для наших данных, и мне было интересно, что конкретно это говорит о данных. Я не статистика, поэтому некоторые статьи, которые я читаю на эти темы, кажутся мне просто жаргоном, извините.

Спирман Ро против Кендалла Тау . Эти два настолько различны в вычислительном отношении, что вы не можете напрямую сравнить их величины. Spearman обычно выше на 1/4 до 1/3, и это делает неверным вывод о том, что Spearman «лучше» для определенного набора данных. Разница между ро и тау заключается в их идеологии, соотношении дисперсии для ро и вероятности для тау. Rho - это обычный Pearson r, применяемый для ранжированных данных, и, подобно r, более чувствителен к точкам с большими моментами (то есть отклонениям от центра облака), чем к точкам с маленькими моментами. Поэтому rho довольно чувствителен к форме облака после ранжированияготово: коэффициент для продолговатого ромбического облака будет выше, чем коэффициент для продолговатого изогнутого облака (поскольку острые края первых являются большими моментами). Tau является расширением гаммы и одинаково чувствителен ко всем точкам данных , поэтому он менее чувствителен к особенностям формы ранжированного облака. Tau является более «общим», чем rho, поскольку rho оправдано только в том случае, если вы считаете, что базовые (модельные или функциональные в популяции) отношения между переменными строго монотонны. Хотя Тау учитывает немонотонную базовую кривую и измеряет, какой монотонный «тренд», положительный или отрицательный, преобладает там в целом. Rho сопоставим с r по величине; Тау нет.

Кендалл Тау как Гамма . Тау - это просто стандартизированная форма гаммы. Несколько связанных показателей имеют числитель но различаются по нормализующему знаменателю :$P-Q$

• Гамма:$P+Q$
• D Сомерса («зависимый от x»):$P+Q+T_x$
• D Сомерса («зависит от y»):$P+Q+T_y$
• Somers 'D («симметричный»): среднее арифметическое из двух
• Кендалла Тау-б Corr. (наиболее подходит для квадратных таблиц): среднее геометрическое из этих двух
• Кендалла Тау-с корр. (наиболее подходит для прямоугольных столов):$N^2(k-1)/(2k)$
• Тау-Корр Кендалла корр. (не делает поправку на связи):$N(N-1)/2 = P+Q+T_x+T_y+T_{xy}$

где - количество пар наблюдений с «конкордансом», - с «инверсией»; - количество связей по переменной X, - по переменной Y, - по обеим переменным; - количество наблюдений, - количество различных значений в той переменной, где это число меньше.Q T x T y T x y N $P$$Q$$T_x$$T_y$$T_{xy}$$N$$k$

Таким образом, тау прямо сопоставим по теории и величине с гаммой. Rho напрямую сопоставим по теории и величине с Pearson . Хороший ответ Ника Стаунера здесь рассказывает, как можно косвенно сравнивать rho и tau.$r$

Смотрите также о тау и ро.

Вот цитата Эндрю Гилпина (1993), защищающая Мориса Кендалла над Спирмена по теоретическим причинам:$τ$$ρ$

Кендалла приближается к нормальному распределению быстрее, чем , так как , размер выборки, увеличивается; и также более математически лучше, особенно когда присутствуют связи. $τ$$ρ$$N$$τ$

Я не могу добавить много о Гудмане-Крускале , кроме того, что он, кажется, дает немного более высокие оценки, чем Кендалла в выборке данных опроса, с которыми я работал в последнее время ... и, конечно, заметно понизить оценки , чем Спирмена . Тем не менее, я также попытался вычислить пару частичных оценок (Foraita & Sobotka, 2012), и они оказались ближе к частичному чем к частичному ... Хотя это заняло довольно много времени, поэтому я оставлю тесты симуляции или математические сравнения с кем-то еще ... (кто бы знал, как их сделать ...)$γ$$τ$$ρ$$γ$$ρ$$τ$

Как следует из ttnphns , вы не можете сделать вывод, что ваши оценки лучше, чем ваши оценки по величине, потому что их масштабы различаются (даже если пределы этого не делают). Гилпин цитирует Кендалла (1962), который описывает отношение к примерно в 1,5 для большей части диапазона значений. Они постепенно сближаются по мере увеличения их величин, поэтому, когда оба приближаются к 1 (или -1), разница становится бесконечно малой. Гилпин дает большую большую таблицу эквивалентных значений , , , d и к третьей цифре для$ρ$$τ$$ρ$$τ$$ρ$$r$$r^2$$Z_r$$τ$с каждым шагом в 0,01 по всему диапазону, как вы ожидаете увидеть на обложке учебника по вводной статистике. Он основал эти значения на конкретных формулах Кендалла, которые заключаются в следующем: (я упростил эту формулу для из форма , в которой Гилпин писал, что было с точки зрения Пирсона .)

Возможно, имеет смысл преобразовать ваш в$τ$$ρ$ и посмотреть, как вычислительные изменения влияют на оценку размера вашего эффекта. Похоже, что сравнение даст некоторое представление о том, в какой степени проблемы, к которым Спирмена более чувствительны, присутствуют в ваших данных, если они вообще есть. Конечно, существуют более прямые методы для идентификации каждой конкретной проблемы в отдельности; Мое предложение дало бы более быстрый и грязный размер эффекта омнибуса для этих проблем. Если нет разницы (после поправки на разницу в масштабе), то можно утверждать, что нет необходимости искать проблемы, которые относятся только к$ρ$$ρ$, Если есть существенная разница, то, вероятно, пришло время разбить увеличительную линзу, чтобы определить, кто виноват.

Я не уверен, как люди обычно сообщают о размерах эффектов при использовании Кендалла (к сожалению, ограниченная степень того, что люди беспокоятся о том, как сообщать о размерах эффектов в целом), но, поскольку кажется, что незнакомые читатели попытаются интерпретировать его в масштабе Пирсона. , возможно, было бы целесообразно сообщить как вашу статистику, так и величину ее эффекта по шкале используя приведенную выше формулу преобразования ... или, по крайней мере, указать на разницу в масштабе и дать сигнал Гилпину за его удобную таблицу преобразования. ,$τ$$r$$τ$$r$

Ссылки

Foraita, R. & Sobotka, F. (2012). Валидация графических моделей. Пакет gmvalid, v1.23. Комплексная R Архивная Сеть. URL: http://cran.r-project.org/web/packages/gmvalid/gmvalid.pdf

Гилпин А.Р. (1993). Таблица для преобразования Тау Кендалла в Ро Спирмена в контексте измерения величины эффекта для мета-анализа. Образовательные и психологические измерения, 53 (1), 87-92.

Кендалл, М.Г. (1962). Методы ранговой корреляции (3-е изд.). Лондон: Гриффин.

Все это хорошие показатели монотонной ассоциации. Спирмена относится к вероятности мажоритарного совпадения среди случайных триплетов наблюдений, а (Кендалл) и (Гудман-Крускал) относятся к парному согласованию. Основное решение сделать при выборе по сравнению , хотите ли вы оштрафовать для связей в и / или . также не штрафует за связи, так что сравнение прогнозирующей способности и в прогнозировании не вознаградит один из$\rho$$\tau$$\gamma$$\gamma$$\tau$$X$$Y$$\gamma$$X_{1}$$X_{2}$$Y$$X$для того, чтобы быть более непрерывным. Это отсутствие вознаграждения делает его немного несовместимым с тестами отношения правдоподобия на основе моделей. , который сильно привязан (скажем , бинарную ) может иметь высокую .$X$$X$$\gamma$