Общий рейтинг из нескольких рейтинговых списков

13

Я просмотрел много литературы, доступной в Интернете, в том числе этот форум, но безуспешно и надеюсь, что кто-то может помочь в статистической проблеме, с которой я сейчас сталкиваюсь:

У меня есть 5 списков ранжированных данных, каждый из которых содержит 10 пунктов, ранжированных от позиции 1 (лучшая) до позиции 10 (худшая). Ради контекста, 10 элементов в каждом списке одинаковы, но в разных ранжированных порядках, так как методика, используемая для определения их ранга, отличается.

Пример данных:

            List 1      List 2      List 3     ... etc
Item 1     Ranked 1    Ranked 2    Ranked 1     
Item 2     Ranked 3    Ranked 1    Ranked 2
Item 3     Ranked 2    Ranked 3    Ranked 3
... etc

Я ищу способ интерпретации и анализа вышеуказанных данных, чтобы получить окончательный результат, показывающий общий рейтинг каждого элемента на основе каждого теста и его позиции, например

Result
Rank 1 = Item 1
Rank 2 = Item 3
Rank 3 = Item 4
... etc

До сих пор я пытался интерпретировать эту информацию, выполняя тесты «Корреляция Пирсона», «Корреляция Спирмена», «В» Кендалла Тау и Фридмана. Однако я обнаружил, что эти результаты обычно связывают мои списки (т. Е. Сравнивают список 1 с списком 2, затем список 1 с списком 3 и т. Д.) Или дают такие результаты, как хи-квадрат, Р-значения и т. Д., В целом. данные.

Кто-нибудь знает, как я могу интерпретировать эти данные статистически обоснованным методом (на уровне аспирантуры / докторантуры), чтобы я мог понять общие ранги, сигнализирующие о важности каждого элемента в списке по 5 тестам, пожалуйста? Или, если есть другой тип техники или статистический тест, который я могу изучить, я буду признателен за любые советы или рекомендации.

(Возможно, стоит также отметить, что я также выполнил более простые математические методы, такие как суммы, усреднение, минимально-максимальные тесты и т. Д., Но не чувствую, что они достаточно статистически важны на этом уровне).

Любая помощь или совет будет принята с благодарностью, спасибо за ваше время.

Liam
источник
1
Я нахожу два вопроса, которые при правильной интерпретации представляются дубликатами (и поэтому уже дают ответы): stats.stackexchange.com/search?q=valuation+rank . Являются ли они адекватными? Если нет, пожалуйста, помогите нам понять, что особенного в вашей ситуации.
whuber
Спасибо за ваш ответ. Я посмотрел на эти статьи, и я не уверен, что они не то, что я ищу, или это мое понимание вины. В этих статьях создается впечатление, что каждый из наборов данных имеет много переменных разного значения, и что ранги могут быть разными или иметь более подробные целочисленные значения, чем просто ранг. Я просто ищу статистически проверенный способ сказать: «В целом, самый важный пункт - это пункт X, за которым следует Y ... и, наконец, (или наименее важный) пункт Z». Я почти рассматриваю анализ этих рангов 1-10 как простых чисел
Лиам,
1
Одним из основных моментов этих потоков является то, что не существует такого "статистически проверенного способа". Это вопрос оценки : любая статистическая комбинация ваших результатов отражает чувство компромисса между ними. Например , ваши «объекты» могут быть автомобилями, а «техники» могут ранжировать их по различным признакам: стоимость, эффективность использования топлива, мощность, комфорт и т. Д. Ваше личное представление о «лучших» может существенно отличаться от чьего-либо чувства и вы оба были бы правы.
whuber
ты получил ответ? Пожалуйста, оставьте комментарий здесь stats.stackexchange.com/questions/347336/…
Рэй Кодер

Ответы:

7

Я не уверен, почему вы смотрели на корреляции и подобные меры. Там, кажется, не существует ничего, чтобы соотносить.

Вместо этого есть несколько вариантов, ни один из которых не лучше другого, но зависит от того, что вы хотите:

Возьмите средний ранг и затем ранжируйте средние (но это обрабатывает данные как интервал)

Возьмите средний ранг и затем ранжируйте медианы (но это может привести к связям)

Возьмите количество голосов за 1 место, полученное каждым предметом, и оцените их на основе этого

Возьмите количество голосов за последнее место и оцените их (наоборот, очевидно), основываясь на этом.

Создайте взвешенную комбинацию рангов, в зависимости от того, что вы считаете разумным.

Питер Флом - Восстановить Монику
источник
4
Важный момент, отмеченный в темах, на которые я ссылался в комментарии - и я думаю, что это суть всей проблемы - заключается в том, что все эти методы являются произвольными . Существуют объективные методы, но они требуют использования информации, не присущей данным. Вот что делает это проблемой оценки, а не статистики.
whuber
Какую взвешенную комбинацию рангов вы бы предложили?
Арчи
4

Как уже отмечали другие, есть много вариантов, которые вы можете использовать. Метод, который я рекомендую, основан на средних рангах, т. Е. На первом предложении Петра.

В этом случае статистическая значимость окончательного ранжирования может быть проверена с помощью двухэтапного статистического теста. Это непараметрическая процедура, состоящая из теста Фридмана с соответствующим последующим тестом, тестом Немени . Оба они основаны на средних разрядах. Цель Фридмана теста отклонить нулевую гипотезу и заключить , что есть некоторые различия между элементами. Если это так, мы приступаем к тесту Неменого, чтобы выяснить, какие элементы на самом деле отличаются. (Мы не начинаем непосредственно с специального теста, чтобы избежать случайного значения).

Более подробную информацию, такую ​​как критические значения для обоих тестов, можно найти в статье Демсара .

Вэйвэй
источник
2

Используйте Tau-x (где «x» относится к «расширенному» Tau-b). Тау-х является корреляционным эквивалентом метрики расстояния Кемени-Снелла - доказано, что это уникальная метрика расстояния между списками ранжированных элементов, которая удовлетворяет всем требованиям метрики расстояния. См. Главу 2 «Математические модели в социальных науках» Кемени и Снелла, а также «Новый коэффициент корреляции ранга с применением к проблеме консенсусного ранжирования», Эдвард Эмонд, Дэвид Мейсон, журнал многокритериального анализа принятия решений, 11: 17- 28 (2002).

Стивен
источник