У меня есть база данных, содержащая большое количество экспертов в этой области. Для каждого из этих экспертов у меня есть множество атрибутов / точек данных, таких как:
- количество лет опыта.
- лицензии
- количество отзывов
- текстовое содержание этих обзоров
- 5-звездочный рейтинг в каждом из этих обзоров по ряду факторов, таких как скорость, качество и т. Д.
- награды, ассоциации, конференции и т. д.
Я хочу дать оценку этим экспертам, скажем, из 10, исходя из их важности. Некоторые из данных могут отсутствовать для некоторых экспертов. Теперь мой вопрос: как мне придумать такой алгоритм? Кто-нибудь может указать мне на некоторую соответствующую литературу?
Кроме того, я обеспокоен тем, что, как и во всех рейтингах / обзорах, цифры могут сгруппироваться рядом с некоторыми значениями. Например, большинство из них могут в конечном итоге получить 8 или 5. Есть ли способ выделить небольшие различия в большую разницу в баллах только для некоторых атрибутов.
Некоторые другие обсуждения, которые я решил, могут быть актуальны:
Ответы:
Люди изобрели многочисленные системы оценки вещей (например, экспертов) по нескольким критериям: посетите страницу Википедии, посвященную анализу решений по нескольким критериям, чтобы получить список. Тем не менее, не очень хорошо представлен один из наиболее защищенных методов: теория оценки нескольких атрибутов. Это включает в себя набор методов для оценки компромиссов между наборами критериев, чтобы (а) определить подходящий способ для повторного выражения значений отдельных переменных и (б) взвесить повторно выраженные значения, чтобы получить оценку для ранжирования , Принципы просты и оправданны, математика безупречна, и в теории нет ничего фантастического. Все больше людей должны знать и практиковать эти методы, а не изобретать произвольные системы оценки.
источник
В конечном итоге это может быть не только статистическим упражнением. PCA - это очень мощный количественный метод, который позволит вам сгенерировать баллы или веса по первым нескольким основным компонентам, которые вы можете использовать для ранжирования. Однако объяснить, что представляют собой основные компоненты, очень сложно. Это количественные конструкции. Они не диалектические. Таким образом, объяснить, что они на самом деле означают, иногда невозможно. Это особенно верно, если у вас есть аудитория, которая не является количественной. Они не поймут, о чем вы говорите. И будет думать о вашем PCA как о каком-то загадочном черном ящике.
Вместо этого я просто выстроил бы все соответствующие переменные и использовал бы систему весов, основанную на том, что, как думают, должны быть весовые коэффициенты.
Я думаю, что если вы разрабатываете это для посторонних, клиентов, пользователей, было бы замечательно, если бы вы могли встраивать гибкость в определении веса для пользователей.
Некоторые пользователи могут ценить многолетний опыт гораздо больше, чем сертификация и наоборот. Если вы можете оставить это решение им. Таким образом, ваш алгоритм не является черным ящиком, который они не понимают, и им неудобно. Вы сохраняете это полностью прозрачным и отвечаете им на основе их собственной относительной оценки того, что имеет значение.
источник
Как вы думаете, вы могли бы количественно оценить все эти атрибуты?
Если да, я бы предложил выполнить анализ главных компонентов. В общем случае, когда все корреляции положительны (а если нет, вы можете легко получить их с помощью некоторого преобразования), первый главный компонент может рассматриваться как мера общей важности эксперта, поскольку он является взвешенным среднее значение всех атрибутов (и веса будут соответствующими вкладами переменных - с этой точки зрения, сам метод покажет важность каждого атрибута). Оценка, которую каждый эксперт получает по первому основному компоненту, - это то, что вам нужно для их ранжирования.
источник