Коэффициенты регрессии, которые переворачивают знак после включения других предикторов

31

Представить

  • Вы запускаете линейную регрессию с четырьмя числовыми предикторами (IV1, ..., IV4)
  • Когда в качестве предиктора включен только IV1, стандартизированная бета +.20
  • Когда вы также включаете IV2-IV4, знак стандартизированного коэффициента регрессии IV1 меняется на -.25(т.е. он становится отрицательным).

Это вызывает несколько вопросов:

  • Что касается терминологии, вы называете это «эффект подавления»?
  • Какие стратегии вы бы использовали, чтобы объяснить и понять этот эффект?
  • Есть ли у вас примеры таких эффектов на практике, и как вы объяснили и поняли эти эффекты?
regression predictor Джером англим
источник
Как бы вы объяснили ситуацию, когда коэффициенты меняют знаки при включении предикторов, но определенно нет никакой мультиколлинеарности (как можно предположить при низких значениях VIF)? Интересно, что при включении предикторов знак изменился на то, что я изначально ожидал, что он будет (положительным). Он был отрицательным в простой регрессии с одной независимой переменной (матрица корреляции показала минимальную отрицательную корреляцию с зависимой переменной), но сразу же стала положительной с другими предикторами.
@John, не могли бы вы удалить свой комментарий и опубликовать свой вопрос в виде отдельного вопроса на этом сайте (т. Е. С помощью «Задать вопрос вверх»). Если вы считаете, что ваш вопрос связан с этим вопросом, добавьте ссылку на этот вопрос в Ваш новый вопрос
Джером Англим
2
Бумага, которую я написал с Сетом Даттером, может помочь прояснить ситуацию. Он написан в основном с геометрической точки зрения. Вот ссылка: arxiv.org/abs/1503.02722 . -Brian Knaeble, B. & Dutter, S. (2015). Обращения оценок наименьших квадратов и независимой от модели оценки направлений уникальных эффектов. Препринт arXiv arXiv: 1503.02722.

Ответы:

26

Как уже упоминал ДжоФрульд, мультиколлинеарность является обычным подозрением. По сути, если ваши переменные имеют положительную корреляцию, то коэффициенты будут иметь отрицательную корреляцию, что может привести к неправильному знаку на одном из коэффициентов.

Одной из проверок будет выполнение регрессии главных компонентов или регрессии гребня. Это уменьшает размерность пространства регрессии, обрабатывая мультиколлинеарность. В итоге вы получите необъективные оценки, но, возможно, более низкий MSE и исправленные признаки Идете ли вы с этими конкретными результатами или нет, это хорошая диагностическая проверка. Если вы все еще получаете изменения знака, это может быть теоретически интересно.

ОБНОВИТЬ

Исходя из комментария в ответе Джона Кристи, это может быть интересно. Обращение в ассоциации (величина или направление) являются примерами парадокса Симпсона, парадокса лорда и эффектов подавления. Различия в основном связаны с типом переменной. Более полезно понимать основное явление, а не думать с точки зрения определенного «парадокса» или эффекта. Для причинно-следственной связи статья ниже хорошо объясняет, почему, и я приведу подробное описание их введения и заключения, чтобы подогреть аппетит.

Ту и др. Представляют анализ эквивалентности трех парадоксов, заключая, что все три просто повторяют неудивительное изменение в ассоциации любых двух переменных, когда статистически контролируется третья переменная. Я называю это неудивительным, потому что инверсия или изменение величины распространены в условном анализе. Чтобы избежать того или другого, мы должны вообще избегать условного анализа. Что это за парадоксы Симпсона и Лорда или эффект подавления, помимо того, что они указывают на очевидное, что привлекает неустойчивые, а иногда и паникерские интересы, наблюдаемые в литературе?

[...]

В заключение нельзя переоценить тот факт, что, хотя парадоксы Симпсона и связанные с ним проблемы раскрывают опасности использования статистических критериев для проведения причинного анализа, они не содержат ни объяснения явления, которое они намеревались изобразить, ни указателей на то, как их избежать. Объяснения и решения лежат в причинно-следственных рассуждениях, основанных на базовых знаниях, а не на статистических критериях. Давно пора перестать лечить неправильно истолкованные признаки и симптомы («парадоксы») и заняться лечением этой болезни («причинность»). Мы должны справедливо обратить наше внимание на извечную проблему выбора ковариат для причинного анализа с использованием неэкспериментальных данных.

АРС
источник
1
Спасибо за предложение изучить регрессию Риджа или PCA. Еще один побочный момент в отношении вашего комментария: «если ваши переменные положительно коррелированы, то коэффициенты будут отрицательно коррелированы, что приведет к изменению знака.»: Положительно коррелированные предикторы обычно не приводят к изменению знака.
Jeromy Anglim
Извините, это испорченное однострочное объяснение, написанное на скорую руку. Исправлено сейчас, спасибо.
АРС
Отличное замечание о важности причинных механизмов.
Джером Энглим
14

Я считаю, что подобные эффекты часто вызваны коллинеарностью (см. Этот вопрос ). Я думаю, что книга о многоуровневом моделировании Гельмана и Хилла говорит об этом. Проблема заключается в том, что IV1это связано с одним или несколькими другими предикторами, и когда все они включены в модель, их оценка становится ошибочной.

Если изменение коэффициента происходит из-за коллинеарности, то не очень интересно сообщать об этом, потому что это не из-за связи между вашими предикторами и результатом, а из-за связи между предикторами.

То, что я видел, предложило решить эту проблему, это остаточное решение. Сначала вы подбираете модель для IV2 ~ IV1, а затем принимаете остатки этой модели как rIV2. Если все ваши переменные коррелированы, вы должны действительно изменить их все. Вы можете выбрать сделать так, как это

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Теперь установите окончательную модель с

DV ~ IV1 + rIV2 + rIV3 + rIV4

Теперь коэффициент для rIV2представляет собой независимый эффект IV2данной корреляции с IV1. Я слышал, что вы не получите тот же результат, если вы переоценили в другом порядке, и что выбор порядка перерасчета - это действительно суждение в рамках вашего исследования.

JoFrhwld
источник
Спасибо за ответ. У меня были эти мысли. (а) Мультиколлинеарность: я согласен. Без этого коэффициенты не должны меняться. б) это интересно? Я на самом деле думаю, что в некоторых случаях переключение знаков может иметь интересные теоретические интерпретации; но, возможно, не с точки зрения чистого предсказания. (c) Residualisation: я хотел бы услышать, что другие люди думают об этом подходе.
Джером Энглим
Я не уверен, что мультиколлинеарность может быть интересной. Скажем, у вас был какой-то результат O, и ваши предикторы есть Incomeи Father's Income. Факт, который Incomeсвязан с этим, Father's Incomeпо сути интересен, но этот факт будет верным независимо от значения O. То есть, вы можете установить, что Oвсе предикторы коллинеарны, даже не собирая данные о ваших результатах или даже не зная, каков будет результат! Эти факты не должны становиться особенно интересными, если вы знаете, что Oэто действительно так Education.
JoFrhwld
Я предполагаю, что эффект подавления может быть теоретически интересным, из которого, по-видимому, мультиколлинеарность служит отправной точкой для объяснения.
Джером Энглим
5

Смотрите парадокс Симпсона . Короче говоря, основной наблюдаемый эффект может измениться, когда взаимодействие добавляется в модель. На связанной странице большинство примеров являются категориальными, но в верхней части страницы есть цифра, которую можно представить постоянно. Например, если у вас есть категориальный и непрерывный предиктор, тогда непрерывный предиктор может легко перевернуть знак, если добавить категориальный и в каждой категории знак отличается от общего показателя.

Джон
источник
Хорошая точка зрения. Все примеры парадокса Симпсона применимы к категориальным переменным. Является ли понятие супрессорной переменной числовым эквивалентом?
Jeromy Anglim