Есть ли разница между «контролем» и «игнорированием» других переменных в множественной регрессии?

50

Коэффициент объясняющей переменной в множественной регрессии говорит нам о связи этой объясняющей переменной с зависимой переменной. Все это, одновременно «контролируя» другие объясняющие переменные.

Как я видел это до сих пор:

Пока каждый коэффициент вычисляется, другие переменные не учитываются, поэтому я считаю, что они игнорируются.

Итак, прав ли я, когда считаю, что термины «контролируемый» и «игнорируемый» можно использовать взаимозаменяемо?

Сиддхарт Гопи
источник
2
Я не был так в восторге от этого вопроса, пока не увидел две фигуры, которые вы вдохновили @gung предложить.
DWin
1
Вы не знали о разговоре, который у нас был в другом месте, который мотивировал этот вопрос, @DWin. Было слишком много попыток объяснить это в комментарии, поэтому я попросил ФП сделать это формальным вопросом. Я действительно думаю, что явное выявление различия между игнорированием и контролем других переменных в регрессии - это большой вопрос, и я рад, что это обсуждалось здесь.
gung - Восстановить Монику
2
см. также первую диаграмму здесь
Glen_b
1
Доступны ли данные, использованные в этом вопросе, чтобы мы могли сами использовать их в качестве обучающей выборки.
Ларри

Ответы:

88

YX1X2YX1

  1. X1YX2
    Y=β0+β1X1+β2X2
  2. X1Y X2

    Y=β0+β1X1

X1Yβ^1X1X2

введите описание изображения здесь

X1X2X2X2 X2X2X2=1X2=2X2=3X1YX2 X2

введите описание изображения здесь

Еще один способ подумать о различии между игнорированием и контролем для другой переменной - это рассмотреть различие между предельным распределением и условным распределением . Рассмотрим эту цифру:

введите описание изображения здесь

( Это взято из моего ответа здесь: что такое интуиция за условным распределением Гаусса? )

YYXYX1=25X1=45X1

Gung - Восстановить Монику
источник
2
Гунг, это поучительно, я рад, что допустил ошибку, использовав слово «игнорировать» в своем ответе на этот вопрос. Сейчас я попытаюсь выяснить, как именно статистические пакеты «контролируют» другие переменные. (Сначала я подумал, что они используют какую-то меру, например коэффициент корреляции Пирсона. Со многими объяснительными переменными все может стать беспорядочным) Спасибо за этот ответ!
Сиддхарт Гопи
1
Пожалуйста, @garciaj, хотя я еще не закончил ;-). Я ищу другую фигуру; Возможно, мне придется сделать это с нуля.
gung - Восстановить Монику
4
Основная идея первого рисунка заключается в том, что эти точки лежат в трехмерном пространстве: красные круги на плоской плоскости на экране компьютера, синие треугольники на параллельной плоскости немного впереди экрана и зеленые плюсы на самолете немного перед этим. Плоскость регрессии наклоняется вниз вправо, но наклоняется вверх, когда она движется от экрана к вам. Обратите внимание, что это явление происходит потому, что X1 и X2 коррелированы, если бы они не были коррелированы, предполагаемые бета-версии были бы одинаковыми.
gung - Восстановить Монику
1
И этот тип корреляции между предикторами (например, сценарий @gung) является тем, что обычно лежит в основе парадокса Симпсона . Во вселенной с более чем тремя переменными разумно помнить, что это может скрывать ваши выводы (черт!).
FairMiles
2
@MSIS, когда вы контролируете переменную в модели, модель пытается сохранить ее постоянной (фиксированной) для оценки всего остального в модели. Тем не менее, это просто попытка и подвержена случайной ошибке, поэтому она не обязательно совпадает с тем, что вы получили бы, если бы вы провели исследование с переменной, физически фиксированной с заданным значением.
gung - Восстановить Монику
8

Они не игнорируются. Если бы их «игнорировали», их бы не было в модели. Оценка объясняющей переменной интереса является условной от других переменных. Оценка формируется «в контексте» или «с учетом влияния» других переменных в модели.

Dwin
источник
Оценка, конечно, зависит от других переменных. Но мы должны очистить его, введя в модель так называемые другие факторы. Однако иногда эти факторы могут носить категорический характер и вызывать больше проблем, чем дать правильное решение.
Субхаш С. Давар