Тест на значимость разности коэффициента корреляции Спирмена

(Большое спасибо за быстрые ответы! Я плохо задал вопрос, поэтому позвольте мне повторить.)

Я не знаю, как выяснить, является ли разница между двумя корреляциями Спирмена статистически значимой. Я хотел бы знать, как это выяснить.

Причина, которую я хотел выяснить, заключается в том, что в следующей статье: Основанная на Википедии семантическая интерпретация для обработки естественного языка , Габрилович и Маркович ( Журнал исследований искусственного интеллекта 34 (2009) 443-498).

В Таблице 2 (стр. 457) авторы показывают, что их метод (ESA-Wikipedia) достигает более высокой и статистически значимой корреляции Спирмена, чем другие методы, и я хотел бы сделать то же самое, чтобы показать, что мой метод лучше, чем предыдущий методы для какой-то проблемы.

Я не знаю, как они рассчитали статистическую значимость, и я хотел бы знать. Автор статьи утверждал, что ранговая корреляция Спирмена рассматривалась как корреляция Пирсона. Я не уверен, что это правильный способ сделать это. У меня есть две корреляции Спирмена, и я хотел бы знать, является ли разница между ними статистически значимой или нет.

Мне известно, что веб-сайты, такие как http://faculty.vassar.edu/lowry/rdiff.html , предоставляют онлайн-калькулятор для получения разницы между двумя корреляциями Пирсона. Я не могу найти аналогичный онлайн-калькулятор для разницы между двумя корреляциями Спирмена.

Решение по ссылке, предоставленной Питером Фломом

ПРИМЕЧАНИЕ. Процедуры поддерживают только корреляции Спирмена ниже 0,6.

Пусть $z_A$ = преобразование Фишера наблюдаемой корреляции множество $A$ , $z_B$ = Фишер преобразование наблюдаемой корреляции множества $B$ .
Для , пусть , где - преобразование Фишера множества одного левого выхода корреляция, полученная путем удаления , повторного ранжирования и повторного вычисления корреляции. (Каждый основан на пары, каждое удаление является временным, для этого я только, не является постоянными.) Повторите для множества . $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ $n-1$ $B$
$\bar y_A = \sum y_{A_i}/n$ - преобразование Фишера со сглаживанием. Повторите для множества . $B$
$v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ - дисперсия . Повторите для множества . $\bar y_A$ $B$
Используйте гетероскедастический (Welch-Satterthwaite) тест, чтобы сравнить две оценки с откидным верхом: $t$

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$ где и - количество выборок из набора и соответственно.

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Перед первым редактированием

У меня есть набор рейтинга, оцененный человеком (HUMAN-RANKING), набор рейтинга, сгенерированный популярным в настоящее время методом (PRESENT-RANKING), и, наконец, набор рейтинга, сгенерированный моим целевым методом (MY-RANKING) ,

Я вычислил корреляцию Спирмена между ЧЕЛОВЕЧЕСКИМ И РЕЙТИНГОМ. Позвольте мне назвать это: ЧЕЛОВЕК-НАСТОЯЩЕЕ-СПЕАРМАН.

Затем я выяснил корреляцию Спирмена между ЧЕЛОВЕЧЕСКИМ И РЕЙТИНГОМ. Позвольте мне назвать это: ЧЕЛОВЕК-МОЙ-SPEARMAN.

Как я могу узнать, является ли разница между HUMAN-MY-SPEARMAN и HUMAN-PRESENT-SPEARMAN статистически значимой?

hypothesis-testing statistical-significance spearman-rho Патрик Чан
источник

Добро пожаловать, Патрик. Я борюсь с той же проблемой, но с Pearson r. Если вы проверите мои записи, вы получите представление о том, что вы можете сделать.

Adhesh Josh

Хотя у вас могут возникнуть трудности с формулировкой этого вопроса в статистических терминах - было бы полезно, если бы мы знали, что именно вас заинтересовало. Заинтересованы ли вы в близости корреляции (насколько близко баллы предсказывают друг друга) или в существовании взаимосвязи больше чем шанс. Принимая во внимание, что у вас, по-видимому, есть ранжированные данные, повторенные во времени, может быть полезно прочитать некоторые коэффициенты корреляции внутри класса. Я надеюсь, что у меня есть это право, вопрос не совсем ясен.

Росс

Спасибо Adhesh и Россер. Я прошу прощения за плохое описание моего вопроса. Я переписал это. Надеюсь, это стало понятным вопросом.

Патрик Чан

Здравствуй! В настоящее время я борюсь с той же проблемой. У вас случайно есть готовый код, который реализует ваше предложение? Кроме того, почему это работает только для значений корреляции ниже 0,6?

Общество

Тест на значимость разности коэффициента корреляции Спирмена

Решение по ссылке, предоставленной Питером Фломом

Перед первым редактированием

Ответы: