Эффект подавления в регрессии: определение и визуальное объяснение / изображение

40

Что такое переменная-супрессор в множественной регрессии и какие могут быть способы визуального отображения эффекта подавления (его механизм или свидетельство в результатах)? Я хотел бы пригласить всех, у кого есть мысли, поделиться.

ttnphns
источник
2
Ах, это мило и интересно. Большое спасибо. Вы хотите добавить ответ, основанный на этом? Это было бы полезно для многих.
ttnphns

Ответы:

45

Существует ряд часто упоминаемых регрессионных эффектов, которые концептуально различны, но имеют много общего, если рассматривать их чисто статистически (см., Например, эту статью «Эквивалентность эффекта посредничества, смешения и подавления» Дэвида Маккиннона и др. Или статьи из Википедии):

  • Медиатор: IV, который передает эффект (полностью или частично) другого IV в DV.
  • Confounder: IV, который составляет или исключает, полностью или частично, влияние другого IV на DV.
  • Модератор: IV, который, по-разному, управляет силой эффекта другого IV на DV. Статистически это известно как взаимодействие между двумя IV.
  • Подавитель: IV (концептуально посредник или модератор), включение которого усиливает эффект другого IV на DV.

Я не собираюсь обсуждать, в какой степени некоторые или все они технически схожи (для этого прочитайте статью, приведенную выше). Моя цель - попытаться наглядно показать, что такое подавитель . Приведенное выше определение, что «супрессор - это переменная, включение которой усиливает эффект другого IV на DV», кажется мне потенциально широким, потому что оно ничего не говорит о механизмах такого усиления. Ниже я обсуждаю один механизм - единственный, который я считаю подавлением. Если есть и другие механизмы (как сейчас, я не пытался размышлять о любом таком другом), то либо вышеприведенное «широкое» определение следует считать неточным, либо мое определение подавления следует считать слишком узким.

Определение (в моем понимании)

Подавитель - это независимая переменная, которая при добавлении в модель повышает наблюдаемый R-квадрат в основном из-за учета остатков, оставленных моделью без него, а не из-за своей собственной связи с DV (который сравнительно слаб). Мы знаем, что увеличение R-квадрата в ответ на добавление IV является квадратом корреляции частей этого IV в этой новой модели. Таким образом, если частичная корреляция IV с DV больше (по абсолютной величине), чем нулевой порядок между ними, то IV является подавителем.r

Таким образом, подавитель в основном «подавляет» ошибку сокращенной модели, будучи слабым как сам предиктор. Термин ошибки является дополнением к прогнозу. Прогноз «проецируется» или «распределяется между» IV (коэффициентами регрессии), как и термин «ошибка» («дополняет» коэффициенты). Подавитель подавляет такие компоненты ошибок неравномерно: больше для некоторых IV, меньше для других IV. Для тех ИВ, «чьи» такие компоненты, он сильно подавляет, он оказывает значительную облегчающую помощь, фактически повышая их коэффициенты регрессии .

Несильные подавляющие эффекты встречаются часто и дико ( пример на этом сайте). Сильное подавление обычно вводится сознательно. Исследователь ищет характеристику, которая должна коррелировать с DV как можно более слабой и в то же время коррелировать с чем-то в IV интереса, что считается несоответствующим, бесполезным в отношении DV. Он вводит его в модель и получает значительное увеличение предсказательной силы этого IV. Коэффициент подавителя обычно не интерпретируется.

Я мог бы подытожить свое определение следующим образом [в ответ на @ Jake и комментарии @ gung]:

  • Формальное (статистическое) определение: подавитель IV с частичной корреляцией, превышающей корреляцию нулевого порядка (с зависимой).
  • Концептуальное (практическое) определение: приведенное выше формальное определение + корреляция нулевого порядка мала, поэтому подавитель сам по себе не является предсказателем звука.

«Помощник» - это роль IV только в конкретной модели , а не характеристика отдельной переменной. Когда другие IV добавляются или удаляются, подавитель может внезапно прекратить подавление или возобновить подавление или изменить фокус своей подавляющей активности.

Нормальная ситуация регрессии

На первом рисунке ниже показана типичная регрессия с двумя предикторами (мы будем говорить о линейной регрессии). Изображение скопировано отсюда, где оно объясняется более подробно. Короче говоря, умеренно коррелированные (= имеющие острый угол между ними) предикторы и X 2 охватывают 2-мерное пространство «плоскость X». Зависимая переменная Y проецируется на нее ортогонально, оставляя предсказанную переменную Y и остатки с st. Отклонение равно длине эл . R-квадрат регрессии - это угол между Y и Y X1Икс2YY'еYY'и два коэффициента регрессии напрямую связаны с перекосными координатами и b 2 соответственно. Эту ситуацию я назвал нормальной или типичной, потому что и X 1, и X 2 коррелируют с Y (наклонный угол существует между каждым из независимых и зависимых), а предикторы борются за предсказание, потому что они коррелированы.б1б2Икс1Икс2Y

введите описание изображения здесь

Подавление ситуации

Это показано на следующем рисунке. Этот похож на предыдущий; однако вектор теперь несколько отклоняется от зрителя, и X 2 значительно изменил свое направление. Х 2 действует как подавитель. Прежде всего отметим , что вряд ли коррелирует с Y . Следовательно, он не может быть ценным предиктором . Во- вторых. Представьте, что X 2 отсутствует, и вы предсказываете только по X 1 ; предсказание этой регрессии с одной переменной изображается красным вектором Y , ошибка - вектором e , а коэффициент определяется как b YИкс2Икс2YИкс2Икс1Y*е*б*координата (которая является конечной точкой ).Y*

введите описание изображения здесь

Теперь вернитесь к полной модели и обратите внимание, что довольно коррелирует с e . Таким образом, X 2, введенный в модель, может объяснить значительную часть этой ошибки приведенной модели, сокращая e до e . Это созвездие: (1) X 2 не является конкурентом X 1 в качестве предиктора ; и (2) Х 2 представляет собой мусорщик , чтобы забрать unpredictedness оставленного X 1 , - делает Й 2 супрессораИкс2е*Икс2е*еИкс2Икс1Икс2Икс1Икс2, В результате этого эффекта предсказательная сила выросла в некоторой степени: b 1 больше, чем b .Икс1б1б*

Хорошо, почему называется подавителем для X 1 и как он может усиливать его, когда «подавляет» его? Посмотрите на следующую картинку.Икс2Икс1

введите описание изображения здесь

Это точно так же, как и предыдущий. Подумайте еще раз о модели с единственным предиктором . Этот предиктор, конечно, может быть разложен на две части или компоненты (показаны серым цветом): часть, которая «отвечает» за предсказание Y (и, таким образом, совпадает с этим вектором), и часть, которая «отвечает» за непредсказуемость (и таким образом, параллельно e ). Именно эта вторая часть X 1 - части, не относящейся к Y - подавляется X 2, когда этот подавитель добавляется в модель. Нерелевантная часть подавляется и, таким образом, учитывая, что подавитель сам не предсказывает YИкс1Yе*Икс1YИкс2YКак бы то ни было, соответствующая часть выглядит сильнее. Подавитель - это не предиктор, а скорее посредник для другого / другого предиктора. Потому что это конкурирует с тем, что мешает им предсказывать.

Знак коэффициента регрессии подавителя

Это признак корреляции между подавителем и переменной ошибки оставленной приведенной (без подавителя) моделью. На изображении выше, это положительно. В других настройках (например, изменить направление X 2 ) оно может быть отрицательным.е*Икс2

Подавление и изменение знака коэффициента

Добавление переменной, которая будет служить супрессором, может, а может и не изменить знак коэффициентов некоторых других переменных. Эффекты «подавления» и «изменения знака» - это не одно и то же. Более того, я считаю, что подавитель никогда не сможет изменить знак тех предикторов, которым они служат подавителю. (Было бы шокирующим открытием специально добавить подавитель, чтобы облегчить переменную, а затем обнаружить, что она действительно стала сильнее, но в обратном направлении! Я был бы благодарен, если бы кто-то мог показать мне, что это возможно.)

Подавление и диаграмма Венна

Нормальная регрессионная ситуация часто объясняется с помощью диаграммы Венна.

введите описание изображения здесь

A + B + C + D = 1, все изменчивость. Площадь B + C + D - изменчивость, учитываемая двумя IV ( X 1 и X 2 ), R-квадратом; оставшаяся область A является изменчивостью ошибки. B + C = r 2 Y X 1 ; D + C = r 2 Y X 2 , корреляции Пирсона нулевого порядка. Б и Д являются квадрат часть (semipartial) корреляции: B = г 2 Y ( Х 1 . ХYИкс1Икс2рYИкс12рYИкс22 ; D=R2 Y ( Х 2 . Х 1 ) . B / (A + B)=r2 Y X 1 . X 2 иD / (A + D)=r2 Y X 2 . X 1 - квадратные частичные корреляции, которые имеют тоже основное значение,что и стандартизированные коэффициенты регрессии бета.рY(Икс1,Икс2)2рY(Икс2,Икс1)2рYИкс1,Икс22рYИкс2,Икс12

Согласно приведенному выше определению (которое я придерживаюсь), что подавителем является IV с частичной корреляцией, превышающей корреляцию нулевого порядка, является подавителем, если D area> D + C area. Это не может быть отображено на диаграмме Венна. (Это означало бы, что C с точки зрения X 2 не «здесь» и не является той же сущностью, что и C с точки зрения X 1. Чтобы изобразить себя, нужно придумать что-то вроде многослойной диаграммы Венна).Икс2Икс2Икс1


Пример данных

         y         x1         x2

1.64454000  .35118800 1.06384500
1.78520400  .20000000 -1.2031500
-1.3635700 -.96106900 -.46651400
 .31454900  .80000000 1.17505400
 .31795500  .85859700 -.10061200
 .97009700 1.00000000 1.43890400
 .66438800  .29267000 1.20404800
-.87025200 -1.8901800 -.99385700
1.96219200 -.27535200 -.58754000
1.03638100 -.24644800 -.11083400
 .00741500 1.44742200 -.06923400
1.63435300  .46709500  .96537000
 .21981300  .34809500  .55326800
-.28577400  .16670800  .35862100
1.49875800 -1.1375700 -2.8797100
1.67153800  .39603400 -.81070800
1.46203600 1.40152200 -.05767700
-.56326600 -.74452200  .90471600
 .29787400 -.92970900  .56189800
-1.5489800 -.83829500 -1.2610800

Результаты линейной регрессии:

введите описание изображения здесь

Обратите внимание, что служил подавителем. Его корреляция нулевого порядка с Y практически равна нулю, но его корреляция по частям намного больше по величине, - .244 . Это в некоторой степени усилило прогностическую силу X 1 (от r. 419 , потенциальная бета в простой регрессии с ним до бета 0,538 в множественной регрессии).Икс2Y-0,224Икс10,4190,538

Согласно формальному определению, являлся подавителем, потому что его корреляция по частям больше, чем его корреляция нулевого порядка. Но это потому, что у нас есть только два IV в простом примере. Концептуально X 1 не является подавителем, потому что его r с Y не равно 0 .Икс1Икс1рY0

Кстати, сумма корреляций квадратов частей превысила R-квадрат:, .4750^2+(-.2241)^2 = .2758 > .2256что не произошло бы в нормальной регрессионной ситуации (см. Диаграмму Венна выше).


PS Закончив свой ответ, я нашел этот ответ (@gung) с красивой простой (схематической) диаграммой, которая, кажется, согласуется с тем, что я показал выше по векторам.

ttnphns
источник
4
+6, это действительно здорово, и поможет людям лучше понять эту тему в будущем. Я собирался указать на мой другой ответ (который, я согласен, согласуется с вашим здесь); это может быть полезно, если люди хотят попытаться визуализировать эти вещи с другой точки зрения.
gung - Восстановить Монику
1
Пара небольших моментов: 1 Что касается вашего утверждения о том, что подавитель не будет коррелирован w / Y, b / ce * коррелируется w / Y (подробнее см. Здесь ), если X1 не включен в модель, X2 следует коррелировать w / Y («зависит» ли, конечно, от N). 2 Если знак x1 может измениться (b * -> b1), если X1 очень близок к некоррелированному w / Y в отсутствие подавителя и больших SE, знак X1 в сокращенной модели можно перевернуть случайно, из-за ошибки выборки, но это должно быть необычным и минимальным.
gung - Восстановить Монику
@ Gung, спасибо. (1) Я действительно жажду ваших (и других) ответов, которые могли бы помочь улучшить / исправить мои. Так что приходите, когда у вас будет время, постить мысли, которые вы набросали, в своем комментарии; (2) пожалуйста, не делайте эту «щедрость»: я не пишу с большой буквы; другие пользователи, «младшие», могли бы того стоить.
ttnphns
Я не думаю, что мой другой ответ "лучше", чем ваш; на самом деле, я думаю, что ваш более всеобъемлющий / общий. Я думаю, что это говорит о некоторых похожих вещах немного по-другому, поэтому некоторым читателям может быть полезно ознакомиться с обоими. Если вы хотите, я мог бы собрать небольшую статью, в которой подробно описан мой комментарий выше, но я не хочу просто копировать и вставлять здесь свой другой ответ, и мне нечего добавить к этому (или вашему). Что касается щедрости, то она будет привлекать внимание / взгляды к этой теме, что будет хорошо, я не могу ее наградить, но это кажется глупым.
gung - Восстановить Монику
Мне очень нравятся эти векторные геометрические способы мышления о вещах. Вы не возражаете, если я спрошу, как вы рисовали свои сюжеты? Было ли это «мышью» в чем-то, похожем на MS Paint, или с использованием более сложного программного обеспечения? Я рисовал такие вещи с помощью мыши раньше и задавался вопросом, есть ли более простой / более эффективный способ.
Джейк Уэстфолл,
18

Вот еще один геометрический вид подавления, но вместо того, чтобы находиться в пространстве наблюдений, как пример @ttnphns, этот находится в переменном пространстве , пространстве, где живут повседневные диаграммы рассеяния.

Y^язнак равноИкся+ZяИксZИксZИкс^язнак равно12ZяИксZx^i=12zi

Мы можем построить наше уравнение регрессии в виде плоскости в пространстве переменных, которая выглядит следующим образом:

самолет

Смешной случай

xzyxxyxzzxzyxxx

xxxxx

озадачив

ИксZZ

ИксZИксИксZИксZИксZИксZИкс^язнак равно12ZяИксZYИксΔИкс+ΔZзнак равно1+12знак равно1,5

ZИксZ

Икс

Случай подавления

ZYИксИксYИксZZИксИксZZИксИкс

подавление

ZИксИкс^язнак равно-12ZяИксZYИксΔИкс+ΔZзнак равно1+-12знак равно0,5Z

Иллюстративные наборы данных

Если вы хотите поиграть с этими примерами, вот код R для генерации данных, соответствующих значениям примера, и запуска различных регрессий.

library(MASS) # for mvrnorm()
set.seed(7310383)

# confounding case --------------------------------------------------------

mat <- rbind(c(5,1.5,1.5),
             c(1.5,1,.5),
             c(1.5,.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y         x         z
# y 1.0000000 0.6708204 0.6708204
# x 0.6708204 1.0000000 0.5000000
# z 0.6708204 0.5000000 1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#     -1.57e-17     1.50e+00  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#      3.14e-17     1.00e+00     1.00e+00  
# @ttnphns comment: for x, zero-order r = .671 > part r = .387
#                   for z, zero-order r = .671 > part r = .387

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#     6.973e-33    5.000e-01 

# suppression case --------------------------------------------------------

mat <- rbind(c(2,.5,.5),
             c(.5,1,-.5),
             c(.5,-.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y          x          z
# y 1.0000000  0.3535534  0.3535534
# x 0.3535534  1.0000000 -0.5000000
# z 0.3535534 -0.5000000  1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#    -4.318e-17    5.000e-01  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#    -3.925e-17    1.000e+00    1.000e+00  
# @ttnphns comment: for x, zero-order r = .354 < part r = .612
#                   for z, zero-order r = .354 < part r = .612

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#      1.57e-17    -5.00e-01  
Джейк Уэстфолл
источник
Джейк, могу я попросить тебя предоставить твой ответ с актуальными данными? Пожалуйста, дайте три значения переменных для двух рассматриваемых вами случаев. Спасибо. (Я имею в виду, не
замышляйте
ИксZ
@ttnphns Хорошо, я отредактировал свой ответ. Дайте мне знать, что вы думаете.
Джейк Уэстфолл
Пожалуйста, предложите конкретное случайное число в вашем коде. Я хочу воспроизвести именно ваши результаты здесь, онлайн: pbil.univ-lyon1.fr/Rweb (так как на моем компьютере нет R - я не пользователь R).
ttnphns
@ttnphns Вам не нужно семя для воспроизведения примеров наборов данных. Любой набор данных, сгенерированный с использованием приведенного выше кода, всегда будет иметь точно такие же коэффициенты корреляции / регрессии и отклонения, как показано выше, хотя конкретные значения данных могут отличаться (без последствий). Для тех, кто не хочет устанавливать / использовать R, я загрузил два набора данных, сгенерированных с помощью приведенного выше кода, которые вы можете загрузить и проанализировать с помощью выбранного вами пакета статистики. Ссылки: (1) psych.colorado.edu/~westfaja/confounding.csv (2) psych.colorado.edu/~westfaja/suppression.csv . Я тоже добавлю семя.
Джейк Уэстфолл,
0

Вот как я думаю об эффекте подавления. Но, пожалуйста, дайте мне знать, если я ошибаюсь.

Вот пример двоичного результата (классификация, логистическая регрессия). Мы можем видеть, что нет существенной разницы в X1, нет разницы в X2, но сложите X1 и X2 вместе (т.е. правильное x1 для x2 или наоборот), и выборки можно классифицировать почти идеально, и, таким образом, переменные теперь очень значимы ,

введите описание изображения здесь

rep_ho
источник
Можете ли вы распечатать данные, соответствующие вашей картинке, в своем ответе?
ttnphns
Можете ли вы дать Vore для чисел?
fossekall