Что означает «при прочих равных» в множественной регрессии?

22

Когда мы делаем множественные регрессии и говорим, что смотрим на среднее изменение переменной для изменения переменной , сохраняя все остальные переменные постоянными, при каких значениях мы держим другие переменные постоянными? Их значит? Нуль? Любое значение?yx

Я склонен думать, что это любой ценностью; просто ищу разъяснений. Если бы у кого-то было доказательство, это тоже было бы здорово.

EconStats
источник
2
Я нашел пример 10 в статье Питера Кеннеди очень полезным для понимания этого.
Дмитрий Васильевич Мастеров
Да, немного об увеличении количества комнат при сохранении константы квадратных футов действительно наблюдательный пункт. Эта статья на самом деле является золотой жилой полезных идей, она упоминается в заметках доктора философии.
EconStats
1
На самом деле это очень интересный вопрос. Интересно, спрашивают ли себя экономисты, что именно означает «при прочих равных»?
Mugen

Ответы:

26

Вы правы. Технически это любая ценность . Тем не менее, когда я учу этому, я обычно говорю людям, что вы получаете эффект изменения одной единицы в когда все другие переменные хранятся в соответствующих им значениях. Я считаю, что это обычный способ объяснить это, что не является специфическим для меня. Xj

Я обычно продолжаю упоминать, что если у вас нет каких-либо взаимодействий, будет результатом изменения одной единицы в , независимо от того, каковы значения других ваших переменных. Но мне нравится начинать со средней формулировки. Причина в том, что есть два эффекта включения нескольких переменных в регрессионную модель. Во-первых, вы получаете эффект контроля для других переменных (см. Мой ответ здесь ). Во-вторых, присутствие других переменных (как правило) уменьшает остаточную дисперсию модели, делая ваши переменные (включаяX j X j X j XβjXjXjXj) «более значимым». Людям трудно понять, как это работает, если другие переменные имеют значения повсюду. Кажется, что это как-то увеличит изменчивость. Если вы думаете о корректировке каждой точки данных вверх или вниз для значения каждой другой переменной до тех пор, пока все остальные переменные не будут перемещены в их соответствующие средние значения, легче увидеть, что остаточная изменчивость была уменьшена. X

Я не получаю взаимодействия до одного или двух классов после того, как я ввел основы множественной регрессии. Однако когда я добираюсь до них, я возвращаюсь к этому материалу. Вышесказанное применяется, когда нет взаимодействия. Когда есть взаимодействия, это сложнее. В этом случае взаимодействующая переменная [s] поддерживается постоянной (очень конкретно) в , и ни в каком другом значении. 0

Если вы хотите увидеть, как это действует алгебраически, это довольно просто. Мы можем начать со случая отсутствия взаимодействия. Давайте определим изменение в когда все другие переменные поддерживаются постоянными в соответствующих значениях. Без ограничения общности, скажем, есть три переменные и мы заинтересованы в понимании того, как изменение в связано с изменением на одну единицу в , с постоянными значениями и в соответствующих им значениях: Й У Й3Х1Х2Y^XY^X3X1X2

Y^i=β^0+β^1X¯1+β^2X¯2+β^3X3iY^i=β^0+β^1X¯1+β^2X¯2+β^3(X3i+1) subtracting the first equation from the second: Y^iY^i=β^0β^0+β^1X¯1β^1X¯1+β^2X¯2β^2X¯2+β^3(X3i+1)β^3X3iΔY=β^3X3i+β^3β^3X3iΔY=β^3

Теперь очевидно, что мы могли бы ввести любое значение для и в первые два уравнения, при условии, что мы поместили одно и то же значение для ( ) в оба из них. То есть, пока мы держим и постоянными . X 2 X 1 X 2 X 1 X 2X1X2X1X2X1X2

С другой стороны, это не сработает, если у вас есть взаимодействие. Здесь я показываю случай, когда есть взаимодействия : X1X3

Y^язнак равноβ^0+β^1Икс¯1+β^2Икс¯2+β^3Икс3я +β^4Икс¯1Икс3яY^я'знак равноβ^0+β^1Икс¯1+β^2Икс¯2+β^3(Икс3я+1)+β^4Икс¯1(Икс3я+1) вычитая первое уравнение из второго: Y^я'-Y^язнак равноβ^0-β^0+β^1Икс¯1-β^1Икс¯1+β^2Икс¯2-β^2Икс¯2+β^3(Икс3я+1)-β^3Икс3я+ β^4Икс¯1(Икс3я+1)-β^4Икс¯1Икс3яΔYзнак равноβ^3Икс3я+β^3-β^3Икс3я+β^4Икс¯1Икс3я+β^4Икс¯1-β^4Икс¯1Икс3яΔYзнак равноβ^3+β^4Икс¯1

В этом случае невозможно сохранить все остальное постоянным. Поскольку член взаимодействия является функцией и , изменить без изменения взаимодействия. Таким образом, равно изменению связанному с изменением на одну единицу в только когда взаимодействующая переменная ( ) удерживается в вместо (или в любом другом значении, кроме ), и в этом случае последний член в нижнем уравнении выпадает. Х 3 Х 3 β 3 У Х 3 Х 1 0 ˉ Х 1 0Икс1Икс3Икс3β^3Y^Икс3 Икс10Икс¯10

В этом обсуждении я сосредоточился на взаимодействиях, но в более общем плане проблема заключается в том, что существует какая-либо переменная, являющаяся функцией другой, такая, что невозможно изменить значение первой, не изменив соответствующее значение другой переменной. , В таких случаях значение становится более сложным. Например, если у вас была модель с и , то - это производная которой все остальные равны, и (см. Мой ответ здесь ). Возможны и другие, еще более сложные формулировки. ХJХ 2 J β JdYβ^JИксJИксJ2β^J Xj=0dYdИксJИксJзнак равно0

Gung - Восстановить Монику
источник
1
Спасибо, блин, этот ответ великолепен на нескольких уровнях. Во-первых, это отвечает основному вопросу, который меня интересовал. Во-вторых, вы предсказали, каким будет мой следующий вопрос, потому что я собирался спросить, как это изменилось с введением терминов взаимодействия. Спасибо за математику также. Я знаю, что этот вопрос является своего рода основным, но я чувствую, что вы никогда не сможете быть слишком явными с этими понятиями.
EconStats
Пожалуйста, @EconStats. Нет проблем с включением математики, иногда это значительно облегчает понимание того, что происходит.
gung - Восстановить Монику
Ну, я должен сказать, что когда вы вычли первое уравнение из второго уравнения, это наконец подтвердило мои первоначальные мысли о том, что не имеет значения, каковы значения и , если они одинаковы в обоих уравнениях. Это кажется мне очевидным, но я никогда раньше не думал о том, чтобы рассчитать . Определенный момент лампочки для меня. X 3 βИкс2Икс3β
EconStats
Вы можете также взять производную WRT и он получит вас в том же месте, но это легче по математике ( в основном средней школы алгебры), так что она будет доступна для более широкой аудитории. X jYИксJ
gung - Восстановить Монику
1
@beetroot, если я вас правильно понимаю, вы просто держите его на определенном уровне. (В противном случае вы можете задать этот вопрос как новый вопрос.)
gung - Восстановить Монику
8

Математика проста: просто возьмите разницу между двумя моделями с одной из переменных x, измененной на 1, и вы увидите, что не имеет значения, что представляют собой другие переменные (если нет взаимодействий, полиномов или других усложняющих терминов).

Один пример:

Y[1]знак равноб0+б1×Икс1+б2×Икс2

Y[2]знак равноб0+б1×(Икс1+1)+б2×Икс2

Y[2]-Y[1]знак равноб0-б0+б1×Икс1-б1×Икс1+б1×1+б2×Икс2-б2×Икс2знак равноб1

Грег Сноу
источник
6

Я полагаю, что вы имеете в виду зависимость в ковариатах ( ). Поэтому, если модель влияние на прочих равных условиях будет для любого со всеми остальными имеющими постоянную при любом значении.Икся

Yзнак равноβ0+β1Икс1+β2Икс2
ИксяYΔYΔИксяΔИксяИксJ

Имейте в виду, что возможно, что и являются зависимыми (например, функции друг друга), не обязательно демонстрируя значительное взаимодействие в линейной модели ( в ).Икс1Икс2β12знак равно0Yзнак равноβ0+β1Икс1+β2Икс2+β12Икс1Икс2

Так же, как интересная касательная, вот пример: пусть и тогда очевидно, что любое изменение в повлияет на , Однако ковариация между ними равна нулю. Икс1~N(0,σ12)Икс2знак равноИкс12+N(0,σ22)Икс1Икс2

соv(Икс1,Икс2)знак равноЕ(Икс1Икс2)-Е(Икс1)Е(Икс2)
= Е ( Х 3 1 ) - Е ( Х 1 . ) - 0. Е ( Х 2 1 - ) = 0 - 0 - 0 = 0
знак равноЕ[Икс1(Икс12+a)]-Е(Икс1),Е(Икс12-a)весяTчасa~N(0,σ22)
знак равноЕ(Икс13)-Е(Икс1,a)-0.Е(Икс12-a)знак равно0-0-0знак равно0

Таким образом, в действительности изменение будет связано с изменением и что не будет охватывать то, что действительно произойдет, если вы измените . Но все равно будет описан как влияние на всех равных условиях.X 2 Δ YИкс1Икс2 X1ΔYΔYΔИксяИкс1 XiYΔYΔИксяИксяY

Это сравнимо с разницей между полной производной и частичной производной (аналог ) в дифференциальном уравнении. ΔYΔИкся

Ханс Роггеман
источник
Спасибо Ганс, я на самом деле пытался понять, что сделал Ганг, но это хороший пример того, когда две переменные являются зависимыми.
EconStats