Множественная регрессия или частичный коэффициент корреляции? И отношения между двумя

35

Я даже не знаю, имеет ли этот вопрос смысл, но в чем разница между множественной регрессией и частичной корреляцией (кроме очевидных различий между корреляцией и регрессией, к которым я не стремлюсь)?

Я хочу выяснить следующее: у
меня есть две независимые переменные ( , ) и одна зависимая переменная ( ). Теперь индивидуально независимые переменные не связаны с зависимой переменной. Но для данного уменьшается, когда уменьшается. Итак, проанализирую ли я это с помощью множественной регрессии или частичной корреляции ?х 2 у х 1 у х 2x1x2yx1 yx2

изменить, надеюсь, улучшить мой вопрос: я пытаюсь понять разницу между множественной регрессией и частичной корреляцией. Итак, когда уменьшается для данного когда уменьшается, это происходит из-за комбинированного воздействия и на (множественная регрессия) или из-за устранения эффекта (частичная корреляция)?х 1 х 2 х 1 х 2 у х 1yx1x2x1x2yx1

user34927
источник
3
На какой основной вопрос вы пытаетесь ответить?
gung - Восстановить Монику
Смотрите также очень похожий вопрос stats.stackexchange.com/q/50156/3277 .
ttnphns

Ответы:

32

Коэффициент множественной линейной регрессии и частичная корреляция напрямую связаны и имеют одинаковое значение (значение p). Частичное r - это еще один способ стандартизации коэффициента, наряду с коэффициентом бета (стандартизированный коэффициент регрессии) . Итак, если зависимой переменной является а независимыми являются и то у х 1 х 21yx1x2

Бета:βИкс1знак равнорYИкс1-рYИкс2рИкс1Икс21-рИкс1Икс22

Частичное р:рYИкс1,Икс2знак равнорYИкс1-рYИкс2рИкс1Икс2(1-рYИкс22)(1-рИкс1Икс22)

Вы видите , что числители те же , которые говорят , что обе формулы измеряют один и тот же уникальный эффект от . Я попытаюсь объяснить, как две формулы структурно идентичны, и как они не являются.Икс1

Предположим, что вы z-стандартизировали (среднее значение 0, дисперсия 1) все три переменные. Числитель тогда равен ковариации между двумя видами остатков : (a) остатки, оставшиеся при прогнозировании по [стандарт обеих переменных], и (b) остатки, оставшиеся при прогнозировании по [стандарт обеих переменных]. Кроме того, дисперсия остатков (a) равна ; дисперсия остатков (b) равна .х 2 х 1 х 2 1 - г 2 у х 2 1 - г 2 х 1 х 2YИкс2Икс1Икс21-рYИкс221-рИкс1Икс22

Формула для частичной корреляции тогда ясно представляется формулой простого Пирсона , который вычисляется в данном случае между остатками (a) и остатками (b): мы знаем, что Pearson - это ковариация, деленная на знаменатель, который является средним геометрическим значением две разные дисперсии.ррр

Стандартизированный коэффициент бета структурно похож на Пирсона , только в том, что знаменатель является средним геометрическим отклонением от самого себя . Дисперсия остатков (а) не учитывалась; его заменили вторым подсчетом дисперсии остатков (б). Таким образом, бета - это ковариация двух остатков относительно дисперсии одного из них (в частности, одного, относящегося к интересующему предиктору, ). Хотя частичная корреляция, как уже отмечалось, это та же самая ковариация относительно их гибридной дисперсии. Оба типа коэффициентов являются способами стандартизировать эффект в среде других предикторов.х 1 х 1рИкс1Икс1

Некоторые численные последствия разницы. Если R-квадрат множественной регрессии по и окажется равным 1, то обе частичные корреляции предикторов с зависимым также будут равны 1 абсолютному значению (но бета-версии обычно не будут равны 1). В самом деле, как было сказано ранее, является корреляцией между остатками и остатками . Если то, что не является пределах является в точности тем , что не является пределах то внутри нет ничего, что не было бы ни них 1 х 2 г у х 1 . x 2 x 2 y x 2 x 1 y x 1 x 2 x 2 y 1 - r 2 y x 2 x 1 1 - r 2 x 1 x 2YИкс1Икс2рYИкс1,Икс2y <- x2x1 <- x2Икс2Y Икс2Икс1YИкс1Икс2 : полная подгонка Каково бы ни было количество необъяснимой (по ) части, оставшейся в ( ), если она относительно высоко захвачена независимой частью ( ), будет высоким. , с другой стороны, будет высоким только при условии, что захваченная необъяснимая часть сама по себе является значительной частью .Икс2Y1-рYИкс22Икс11-рИкс1Икс22 β х 1 у урYИкс1,Икс2βИкс1YY


Из приведенных выше формул можно получить (и перейти от регрессии с двумя предикторами к регрессии с произвольным числом предикторов ) формулу преобразования между бета-версией и соответствующим частичным r:Икс1,Икс2,Икс3,,,,

рYИкс1,Иксзнак равноβИкс1вар(еИкс1Икс)вар(еYИкс),

где обозначает коллекцию всех предикторов, кроме текущего ( ); - это остатки от регрессии на , а - остатки от регрессии на , переменные в обеих этих регрессиях вводят их стандартизированно .x 1 e y X yИксИкс1еYИксYe x 1X x 1 XИксеИкс1ИксИкс1Икс

Примечание: если нам нужно вычислить частичные корреляции с каждым предиктором мы обычно не будем использовать эту формулу, требующую двух дополнительных регрессий. Скорее, будут выполнены операции развертки (часто используемые в пошаговых алгоритмах и алгоритмах регрессии всех подмножеств) или будет вычислена матрица корреляции антиизображений.хYИкс


β x 1 = b x 1 σ x 11 bββИкс1знак равнобИкс1σИкс1σY - это отношение между необработанным и стандартизированными коэффициентами в регрессии с перехватом.бβ

ttnphns
источник
Спасибо. Но как мне решить, с кем идти, например, для цели, описанной в моем вопросе?
user34927
2
Очевидно, вы можете выбирать: числители одинаковы, поэтому они передают одинаковую информацию. Что касается вашего (не полностью проясненного) вопроса, то, похоже, речь идет о темах "могу зарегистрировать coef. Быть 0, если r не равно 0"; msgstr "можно зарегистрировать коэф. не быть 0, когда r равно 0". На сайте много вопросов по этому поводу. Например, вы можете прочитать stats.stackexchange.com/q/14234/3277 ; stats.stackexchange.com/q/44279/3277 .
ttnphns
Я попытался уточнить свой вопрос ..
user34927
Fixing X1 («дано x1») = устранение (контроль) эффекта X1. В множественной регрессии не существует такого понятия, как «комбинированный эффект» (если только вы не добавите взаимодействие X1 * X2). Эффекты в многократной регрессии конкурентны. Эффекты линейной регрессии на самом деле являются частичными корреляциями.
ttnphns
1
Подождите немного, @ user34927. to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removedЭффект убран откуда ? Если вы «удалите» X2 из Y и X1, тогда corr. между Y и X1 есть частичная корреляция. Если вы «удалите» X2 из X1 только тогда, корр. между Y и X1 называется частичной (или частично частичной) корреляцией. Вы действительно спрашивали об этом ?
ttnphns
0

Просто наткнулся на этот шаг случайно. В первоначальном ответе в формуле для коэффициент , то есть где и .βИкс1 β x 1 = r y x 1 - r y x 2 r x 1 x 2SSY/SSИкс1

βИкс1знак равнорYИкс1-рYИкс2 рИкс1Икс21-рИкс1Икс22×SSYSSИкс1,
SSYзнак равноΣя(Yя-Y¯)2SSИкс1знак равноΣя(Икс1я-Икс¯1)2
Brani
источник
Вы даете формулу . Мой ответ был о . бβ
ttnphns