Для чего нужны переменные рейтинги важности?

25

Я стал чем-то вроде нигилистов, когда дело доходит до переменных уровней ранжирования (в контексте многомерных моделей всех видов).

Часто в ходе моей работы меня просят либо помочь другой команде составить рейтинг с переменной степенью важности, либо создать рейтинг с переменной степенью важности из моей собственной работы. В ответ на эти запросы я задаю следующие вопросы

Зачем вам этот рейтинг важности переменной? Что вы надеетесь извлечь из этого? Какие решения вы хотели бы принять, используя его?

Ответы, которые я получаю, почти всегда попадают в одну из двух категорий

  • Я хотел бы знать важность различных переменных в моей модели для прогнозирования ответа.
  • Я хотел бы использовать его для выбора функций, удаляя переменные низкой важности.

Первый ответ тавтологический (я хотел бы, чтобы рейтинг изменчивости важности, потому что я хотел бы, чтобы рейтинг изменчивости важности). Я должен предположить, что эти рейтинги заполняют психологическую потребность при использовании результатов многомерной модели. Мне трудно это понять, так как ранжирование переменных «важность» в отдельности, по-видимому, неявно отвергает многомерную природу рассматриваемой модели.

Второй ответ по существу сводится к неофициальной версии обратного отбора , статистические грехи которого хорошо документированы в других частях CrossValidated.

Я также борюсь с плохо определенной природой ранжирования значимости. Кажется, нет единого мнения о том, какую базовую концепцию должен измерять рейтинг, придавая им особый вкус. Есть много способов присвоить оценку важности или рейтинг, и они обычно страдают от недостатков и предостережений:

  • Они могут сильно зависеть от алгоритма, как при ранжировании по важности в случайных лесах и gbms.
  • Они могут иметь чрезвычайно высокую дисперсию, радикально изменяющуюся из-за возмущений к базовым данным.
  • Они могут сильно пострадать от корреляции во входных предикторах.

Итак, из всего сказанного, мой вопрос заключается в том, каковы некоторые статистически обоснованные варианты использования рейтингов переменной важности или каков убедительный аргумент (либо статистику, либо непрофессионалу) о бесполезности такого желания? Я заинтересован как в общих теоретических аргументах, так и в тематических исследованиях, в зависимости от того, что будет более эффективным в изложении сути.

Мэтью Друри
источник
1
Использование переменной важности (из некоторой разумной процедуры) для фильтрации слабых предикторов не кажется ужасной идеей. Можете ли вы уточнить, почему вы думаете, что это плохо?
dsaxton
3
Я полагаю, что в целом я думаю, что во многих статистических процессах не доминируют «важные» предикторы, так как происходит накопление множества мелких эффектов. Например, сила регрессии гребня может быть объяснена тем, что она явно признает эту структуру. Иными словами, какова причина, по которой мы должны априори верить в понятие «слабого предиктора» и почему мы должны их отфильтровывать? И почему мы должны использовать такую ​​неформальную процедуру, чтобы сделать это, когда glmnetдоступно?
Мэтью Друри
2
В любой области, в которой мы не являемся экспертами, мы хотим знать, о чем важно беспокоиться! Кажется, что во многих книгах по бизнесу и менеджменту подробно объясняется, что вы выявляете важные проблемы и сосредотачиваетесь на них (да, действительно). Я подозреваю, что недопонимание здесь обычно начинается с нестатистических людей, полагающих, что есть способ количественно оценить важность, и что работа статистиков заключается в том, чтобы знать, как это сделать, и не беспокоиться о том, насколько это сложно. Я не знаю, как быть менее общим, но некоторые обсуждения здесь, кажется, упускают ключевые моменты в вашем вопросе.
Ник Кокс

Ответы:

8

Я утверждал, что значение переменной является скользкой концепцией , как этот вопрос. Тавтологический первый тип ответа, который вы получаете на свой вопрос, и нереалистичные надежды тех, кто будет интерпретировать результаты переменной важности с точки зрения причинности, как отмечает @DexGroves, не требуют особых разработок.

Однако, по справедливости тем, кто использовал бы обратный отбор, даже Фрэнк Харрелл допускает это как часть стратегии моделирования. На странице 97 его Стратегии регрессионного моделирования , 2-е издание (аналогичное утверждение приведено на странице 131 соответствующих примечаний к курсу ):

  1. Делайте ограниченный выбор переменных в обратном порядке, если экономия важнее точности.

Однако это ограниченное потенциальное использование обратного выбора - это шаг 13, последний шаг перед окончательной моделью (шаг 14). Это приходит хорошо после решающих первых шагов:

  1. Соберите как можно больше точных соответствующих данных с широким распределением значений предикторов ...
  2. Сформулируйте хорошие гипотезы, которые приведут к спецификации соответствующих кандидатов-предикторов и возможных взаимодействий ...

По моему опыту, люди часто хотят обойти шаг 2 и позволить какой-то автоматизированной процедуре заменить интеллектуальное применение предметных знаний. Это может привести к тому, что акцент будет сделан на переменную важность.

Полная модель шага 14 Харрелла сопровождается 5 дальнейшими шагами проверки и корректировки, с последним шагом:

  1. Разработайте упрощения для полной модели, приблизив ее к любой желаемой степени точности.

Как отмечалось в других ответах, существуют проблемы практичности, стоимости и простоты, которые входят в практическое применение результатов моделирования. Например, если я разрабатываю новый биомаркер рака, который улучшает прогнозирование, но стоит 100 000 долларов за тест, может быть трудно убедить страховщиков или правительство заплатить за тест, если он не будет впечатляюще полезным. Поэтому для кого-то не лишено смысла сосредоточиться на «наиболее важных» переменных или упростить точную модель до модели, которая несколько менее точна, но проще или дешевле в реализации.

Но этот выбор переменных и упрощение модели должны быть предназначены для конкретной цели , и я думаю, что здесь возникают трудности. Проблема аналогична оценке схем классификации исключительно на основе процента правильно классифицированных случаев. Точно так же, как разные ошибки классификации могут иметь разные затраты, разные схемы упрощения модели могут иметь разные затраты, которые сбалансированы с ожидаемыми выгодами.

Поэтому я думаю, что проблема, на которой должен сосредоточиться аналитик, заключается в возможности надежно оценить и проиллюстрировать эти затраты и выгоды с помощью процедур статистического моделирования, а не слишком беспокоиться об абстрактной концепции статистической достоверности как таковой. Например, на страницах 157-8 примечаний к классу Харрелла, связанных выше, приведен пример использования начальной загрузки для показа капризов ранжирующих предикторов в наименьших квадратах; аналогичные результаты можно найти для наборов переменных, выбранных LASSO.

Если этот тип изменчивости в выборе переменных не мешает конкретному практическому применению модели, это нормально. Задача состоит в том, чтобы оценить, к какому количеству и типу неприятностей приведет это упрощение.

магистр педагогических наук
источник
2
Это отличный ответ @EdM и вполне соответствует мнениям, которые я выработал по этому вопросу. Мне особенно нравятся ваши два замечания о том, что 1) неприемлемые предикторы (по моральным, нормативным или деловым причинам) должны быть отсеяны перед моделированием, 2) окончательное упрощение модели должно быть для конкретной, определенной цели. По сути, это те моменты, которые я обычно пытаюсь решить, задавая вопросы своим деловым партнерам.
Мэтью Друри
пр(β0)
С учетом сказанного, я все еще задаюсь вопросом, есть ли какая-то базовая концепция, которую пытаются поймать рейтинги важности, или все они являются просто специальными атаками по неясной статистической проблеме.
Мэтью Друри
1
@MatthewDrury, Фрэнк Харрелл предлагает один принципиальный способ оценки «важности переменной», основанный на доле логарифмического правдоподобия, объясняемой каждой переменной. Это не то, что менее искушенные люди, вероятно, подразумевают под этой фразой. Как и вы, я использовал долю раз, когда LASSO выбирал каждого предиктора, среди множества загрузочных выборок, как лучший способ, который я могу придумать, чтобы проиллюстрировать причуды выбора переменных. Это в основном оттолкнуло меня от LASSO и привело к регрессии гребня для проблем среднего масштаба.
EdM
8

Это совершенно анекдотично, но я нашел переменную важность полезной для выявления ошибок или слабых мест в GBM.

Переменная важность дает вам вид огромного поперечного сечения модели, который было бы трудно получить иначе. Переменные, расположенные выше в списке, видят большую активность (другой вопрос - важны они или нет). Часто плохо ведущий себя предиктор (например, что-то прогнозное или фактор высокой мощности) будет стрелять наверх.

Если есть большое различие между важностью переменной интуиции и важностью переменной GBM, обычно есть некоторые ценные знания, которые необходимо получить, или ошибка.

Я бы добавил третий ответ на вопрос «почему ты спрашиваешь меня об этом?» вопрос, который «потому что я хочу понять, что является причиной моего ответа». Eep.

Декс Гровс
источник
4

Переменные значения важности играют определенную роль в прикладном деловом мире всякий раз, когда есть необходимость расставить приоритеты для потенциально большого количества входов в процесс, любой процесс. Эта информация обеспечивает руководство с точки зрения целенаправленной стратегии для решения проблемы, переходящей от самого важного к наименее важному, например, к снижению себестоимости процесса, учитывая, что переменные являются эффективными, а не фиксированными, или структурные факторы не подвержены манипуляциям. В конце дня это должно привести к каким-либо тестам A / B.

Однако, на ваш взгляд, Мэтт, как и в случае любого порядкового ранжирования, незначительные нюансы или различия между переменными могут быть неоднозначными или неясными, что умаляет их полезность.

Майк Хантер
источник
Я полностью согласен с полезностью переменного ранжирования во многих бизнес-случаях. Но здесь проблема «разные алгоритмы дают разные рейтинги» остается без внимания. Есть ли у вас какие-либо предложения для решения этой проблемы? Также см. Мой вопрос здесь stats.stackexchange.com/q/251248/71287 и комментарии ниже.
Aliweb
3
@aliweb У разницы нет единого фиксированного решения. Этот момент столь же тонок, как и различие между иерархиями и гетерархиями, где глобальные рейтинги оказываются фактически локальными и временными. Наилучшие обзоры литературы по относительной переменной важности, вероятно, принадлежат Ульрике Гремпингу, статьи которой являются достаточно всеобъемлющими по различным метрикам, которые существуют. Кроме того, ее модуль и метод R - RELAMPO - такой же строгий подход к оценке относительной важности, как и существует.
Майк Хантер
3

Я полностью согласен с вами с теоретической точки зрения. Но с практической точки зрения переменная важность очень полезна.

Давайте рассмотрим пример, в котором страховая компания хочет сократить количество вопросов в вопроснике, определяющих риск их клиентов. Чем сложнее вопросник, тем меньше вероятность того, что клиенты купят свою продукцию. По этой причине они хотят уменьшить менее полезные вопросы при поддержании уровня количественной оценки риска. Решение часто заключается в том, чтобы использовать переменную важность, чтобы определить, какие вопросы должны быть удалены из вопросника (и иметь «более или менее» один и тот же прогноз относительно профиля риска потенциального клиента).

Metariat
источник
Я полностью согласен с полезностью переменного ранжирования во многих бизнес-случаях. Но здесь проблема «разные алгоритмы дают разные рейтинги» остается без внимания. Есть ли у вас какие-либо предложения для решения этой проблемы? Также см. Мой вопрос здесь stats.stackexchange.com/q/251248/71287 и комментарии ниже.
Aliweb
@aliweb: Я думаю, что Мэтью уже дал вам отличный ответ на ваш вопрос.
Метариат