Как вы можете обрабатывать нестабильные оценки в линейной регрессии с высокой мультиколлинеарностью, не выбрасывая переменные?

Бета-стабильность в линейной регрессии с высокой мультиколлинеарностью?

Скажем, в линейной регрессии переменные и имеют высокую мультиколлинеарность (корреляция составляет около 0,9). $x_1$ $x_2$

Мы обеспокоены стабильностью коэффициента поэтому мы должны рассмотреть мультиколлинеарность. $\beta$

Решение учебника было бы просто выбросить одну из переменных.

Но мы не хотим терять полезную информацию, просто отбрасывая переменные.

Какие-либо предложения?

regression multicollinearity Luna
источник

Вы пробовали какую-то схему регуляризации (например, регрессию гребня)?

Нестор

Ответы:

Вы можете попробовать метод гребневой регрессии в случае, когда матрица корреляции близка к единственной (т.е. переменные имеют высокую корреляцию). Это даст вам надежную оценку . $\beta$

Вопрос только в том, как выбрать параметр регуляризации . Это не простая проблема, хотя я предлагаю попробовать разные значения. $\lambda$

Надеюсь это поможет!

Павел
источник

Перекрестная проверка - обычная вещь для выбора ;-).

λ

$\lambda$

Нестор

действительно (+1 для ответа и комментария Нестора), и если вы выполняете вычисления в «канонической форме» (используя собственную декомпозицию , вы можете найти минимизирующую ошибку перекрестной проверки, оставляя один выход) по методу Ньютона очень дешево

X^{T} X

$X^TX$

λ

$\lambda$

Дикран Marsupial

большое спасибо! Любой учебник / заметки о том, как это сделать, включая перекрестную проверку в R?

Луна

Проверьте главу 3 в этой книге: stanford.edu/~hastie/local.ftp/Springer/ESLII_print5.pdf . Внедрение регрессии гребня сделано в R некоторыми авторами (Google - ваш друг!).

Нестор

Вы можете использовать lm.ridgeпроцедуру в пакете MASS. Если вы передадите ему диапазон значений для , например, для вызова, например , вы получите обратно обобщенную статистику перекрестной проверки и можете построить ее для : для выбора минимума.

λ

$\lambda$ foo <- lm.ridge(y~x1+x2,lambda=seq(0,10,by=0.1))foo

λ

$\lambda$ plot(foo$GCV~foo$lambda)

Jbowman

Ну, есть один специальный метод, который я использовал раньше. Я не уверен, что у этой процедуры есть имя, но она имеет смысл интуитивно.

Предположим, ваша цель - соответствовать модели

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$

где два предиктора - - сильно коррелированы. Как вы указали, использование их обоих в одной модели может сделать странные вещи с оценками коэффициентов и . Альтернатива - соответствовать модели $X_i, Z_i$ $p$

Z_{i} = α_{0} + α_{1} X_{i} + η_{i}

$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$

Тогда невязка будет некоррелирована с и в некотором смысле может рассматриваться как часть , не включенная в ее линейную связь с . Затем вы можете перейти к модели $\eta_i$ $X_i$ $Z_i$ $X_i$

Y_{i} = θ_{0} + θ_{1} X_{i} + θ_{2} η_{i} + ν_{i}

$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$

который уловит все эффекты первой модели (и, действительно, будет иметь точно такой же что и первая модель), но предикторы больше не будут коллинеарными. $R^2$

Редактировать: OP попросил объяснить, почему у остатков, по определению, нет выборочной корреляции нуля с предиктором, когда вы пропускаете перехват, как они делают, когда перехват включен. Это слишком долго, чтобы оставлять в комментариях, поэтому я внес изменения здесь. Этот вывод не особенно поучителен (к сожалению, я не смог придумать разумный интуитивный аргумент), но он показывает, что запросил OP :

Когда перехват в простой линейной регрессии опущен , , поэтому . Выборочная корреляция между и пропорциональна где обозначает среднее значение выборки для количества под столбцом. Сейчас я покажу, что это не обязательно равно нулю. $\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$ $x_i$ $e_i$

\bar{x e} - \bar{x} \bar{e}

$\overline{xe} - \overline{x}\overline{e}$

\bar{\cdot}

$\overline{\cdot}$

Сначала мы имеем

\bar{x e} = \frac{1}{n} (\sum x_{i} y_{i} - x_{i}^{2} \cdot \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}}) = \bar{x y} (1 - \frac{\sum x_{i}^{2}}{\sum x_{i}^{2}}) = 0

$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$

но

\bar{x} \bar{e} = \bar{x} (\bar{y} - \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}) = \bar{x} \bar{y} - \frac{{\bar{x}}^{2} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$

поэтому, чтобы и имели выборочную корреляцию ровно 0, нам нужно, чтобы был равен . То есть нам нужно $e_i$ $x_i$ $\overline{x}\overline{e}$ $0$

\bar{y} = \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$

что в общем случае не выполняется для двух произвольных наборов данных . $x, y$

макрос
источник

Это напоминает мне о графиках частичной регрессии .

Энди W

Это звучит как приближение к замене их основными компонентами.

(X, Z)

$(X, Z)$

whuber

Я имел в виду одну вещь: PCA легко обобщает более двух переменных. Другое заключается в том, что он обрабатывает и симметрично, в то время как ваше предложение появляется произвольно, чтобы выделить одну из этих переменных. Другая мысль заключалась в том, что PCA обеспечивает дисциплинированный способ уменьшения количества переменных (хотя следует быть осторожным с этим, поскольку небольшой главный компонент может быть сильно коррелирован с зависимой переменной).

X

$X$

Z

$Z$

whuber

Привет Макро, Спасибо за отличное доказательство. Да, теперь я понимаю это. Когда мы говорим о выборочной корреляции между x и невязками, требуется, чтобы член перехвата был включен для выборочной корреляции, равной 0. С другой стороны, когда мы говорим об ортогональности между x и невязками, он не требует термина «перехват» быть включенным, чтобы ортогональность сохранялась.

Луна

@Luna, я не особенно не согласен с использованием регрессии гребня - это было только то, что сначала пришло мне в голову (я ответил, прежде чем это было предложено). Одно могу сказать, что оценки регрессии гребня являются предвзятыми, поэтому в некотором смысле вы на самом деле оцениваете немного другое (уменьшенное) количество, чем при обычной регрессии, что делает интерпретацию коэффициентов, возможно, более сложной (как для банды) намекает на). Кроме того, то, что я здесь описал, требует только понимания базовой линейной регрессии и может быть более интуитивно привлекательным для некоторых.

Макро

Мне нравятся оба ответа, данные до сих пор. Позвольте мне добавить несколько вещей.

Другой вариант заключается в том, что вы также можете комбинировать переменные. Это делается путем стандартизации обоих (т. Е. Превращения их в z-оценки), их усреднения, а затем подгонки вашей модели только к составной переменной. Это будет хорошим подходом, если вы считаете, что это две разные меры одной и той же базовой конструкции. В этом случае у вас есть два измерения, которые загрязнены ошибкой. Наиболее вероятное истинное значение для переменной, которую вы действительноЗабота о них находится между ними, поэтому их усреднение дает более точную оценку. Сначала вы стандартизируете их, чтобы поместить их в одну шкалу, чтобы номинальные проблемы не загрязняли результат (например, вам не хотелось бы усреднять несколько измерений температуры, если некоторые из них являются градусами Фаренгейта, а некоторые - градусами Цельсия). Конечно, если они уже находятся в одном масштабе (например, несколько высоко коррелированных опросов общественного мнения), вы можете пропустить этот шаг. Если вы думаете, что одна из ваших переменных может быть более точной, чем другая, вы можете сделать средневзвешенное значение (возможно, используя обратную величину ошибок измерения).

Если ваши переменные являются просто разными мерами одной и той же конструкции и достаточно сильно коррелированы, вы действительно можете просто выбросить одну из них, не теряя много информации. Например, однажды я действительно находился в ситуации, когда я хотел использовать ковариату, чтобы поглотить некоторую дисперсию ошибок и повысить мощность, но там, где я не заботился об этом ковариате - это было не совсем по существу. У меня было несколько вариантов и все они коррелируют друг с другом . Я выбрал один наугад и пошел дальше, и он работал нормально. Я подозреваю, что потерял бы силу, сжигая две дополнительные степени свободы, если бы я включил и другие, используя другую стратегию. Конечно, я мог бы объединить их, но зачем? $r>.98$ Однако это критически зависит от того факта, что ваши переменные коррелированы, потому что это две разные версии одной и той же вещи; если есть другая причина, по которой они коррелируют, это может быть совершенно неуместно.

Поскольку это подразумевает, я предлагаю вам подумать о том, что скрывается за вашими коррелированными переменными. То есть вам нужна теория о том, почему они так сильно коррелированы, чтобы лучше всего выбирать, какую стратегию использовать. В дополнение к различным показателям одной и той же скрытой переменной, некоторые другие возможности включают причинную цепочку (т. ) и более сложные ситуации, в которых ваши переменные являются результатом множества причинных сил, некоторые из которых являются одинаково для обоих. Возможно, самый крайний случай - это случай с подавляющей переменной, который @whuber описывает в своем комментарии ниже. Например, предложение @ Macro предполагает, что вы в первую очередь интересуетесь и задаетесь вопросом о дополнительном вкладе $X_1\rightarrow X_2\rightarrow Y$ $X$ $Z$ после учета вкладаТаким образом, думая о том, почему ваши переменные коррелируют и то , что вы хотите знать , поможет вам решить , какой (то есть, или ) следует рассматривать как и какие . Ключ должен использовать теоретическое понимание, чтобы сообщить ваш выбор. $X$ $x_1$ $x_2$ $X$ $Z$

Я согласен, что регрессия гребня, возможно, лучше, потому что она позволяет вам использовать переменные, которые вы первоначально планировали, и, вероятно, приведет к бета-версиям, которые очень близки к их истинным значениям (хотя они будут смещены - см. Здесь или здесь для получения дополнительной информации ). Тем не менее, я думаю, что у этого также есть два потенциальных недостатка: он более сложный (требует большей статистической сложности), и, по моему мнению, полученную модель труднее интерпретировать.

Я понимаю, что, возможно, окончательный подход будет соответствовать модели структурного уравнения. Это потому, что это позволит вам сформулировать точный набор отношений, которые вы считаете действующими, включая скрытые переменные. Тем не менее, я не знаю SEM достаточно хорошо, чтобы сказать что-то об этом здесь, кроме упоминания о возможности. (Я также подозреваю, что в ситуации, которую вы описываете с двумя ковариатами, было бы излишним.)

Gung - Восстановить Монику
источник

X_{1}

$X_1$

e

$e$

X_{1}

$X_1$

X_{2} = X_{1} + e

$X_2=X_1+e$

X_{1}

$X_1$

Y = e

$Y=e$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y = X_{2} - X_{1}

$Y=X_2-X_1$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

Большое спасибо Gung! Q1. Почему этот подход работает: «Это делается путем стандартизации обоих (т.е. превращения их в z-оценки), их усреднения, а затем подгонки вашей модели только к составной переменной».? Q2. Почему Ридж Регресс будет лучше? Q3. Почему SEM будет лучше? Кто-нибудь, пожалуйста, пролить свет на это? Спасибо!

Луна

Привет Луна, рад помочь. Я на самом деле собираюсь отредактировать это; @whuber был более прав, чем я изначально предполагал. Я постараюсь добавить больше, чтобы помочь с вашими дополнительными вопросами, но это займет много времени, так что это может занять некоторое время. Как получится.

gung - Восстановить Монику