Обобщенные наименьшие квадраты: от коэффициентов регрессии к коэффициентам корреляции?

10

Для наименьших квадратов с одним предиктором:

Yзнак равноβИкс+ε

Если и стандартизированы до подгонки (то есть ), то:y N ( 0 , 1 )ИксY~N(0,1)

  • rβ совпадает с коэффициентом корреляции Пирсона, .р
  • x = β y + ϵβ одинаково в отраженной регрессии:Иксзнак равноβY+ε

Для обобщенных наименьших квадратов (GLS) применяется ли то же самое? Т.е., если я стандартизирую свои данные, могу ли я получить коэффициенты корреляции непосредственно из коэффициентов регрессии?

Экспериментируя с данными, отраженный GLS приводит к различным коэффициентам, а также я не уверен, что считаю, что коэффициенты регрессии соответствуют моим ожидаемым значениям для корреляции. Я знаю, что люди цитируют коэффициенты корреляции GLS, поэтому мне интересно, как они к ним приходят и, следовательно, что они на самом деле значат?β

SQRT
источник

Ответы:

4

Ответ - да, коэффициенты линейной регрессии - это корреляции предикторов с ответом, но только если вы используете правильную систему координат .

Чтобы понять, что я имею в виду, вспомним, что если и y центрированы и стандартизированы, то корреляция между каждым x i и y является просто точечным произведением x t i y . Кроме того, решение линейной регрессии методом наименьших квадратовИкс1,Икс2,...,ИксNYИксяYИксяTY

βзнак равно(ИксTИкс)-1ИксTY

Если так получится, что (единичная матрица), тоИксTИксзнак равноя

βзнак равноИксTY

и мы восстановим вектор корреляции. Это часто привлекает переделку проблемы регрессии в терминах предсказателей , что удовлетворяет условие ~ X т ~ X = I , находя соответствующие линейные комбинации исходных предикторов , которые делают это соотношение верно (или , что эквивалентно, линейное изменения координат); эти новые предикторы называются основными компонентами.Икс~яИкс~TИкс~знак равноя

В общем, ответ на ваш вопрос - да, но только тогда, когда предикторы сами не коррелируют . В противном случае выражение

ИксTИксβзнак равноИксTY

показывает, что бета-версии должны быть смешаны вместе с корреляциями между самими предикторами, чтобы восстановить корреляции между предиктором и ответом.

Икс

Икс0TИксзнак равноΣяИксязнак равно0

Икс0ИксИксTИксзнак равноя

Мэтью Друри
источник