Как найти коэффициенты регрессии

14

В регрессии гребня целевая функция, которая должна быть минимизирована:

RSS+λβj2.

Можно ли это оптимизировать с помощью метода множителей Лагранжа? Или это прямая дифференциация?

Minaj
источник
1
Какова связь между заголовком (который фокусируется на λ ) и вопросом (который, кажется, касается только βj )? Я обеспокоен тем, что «быть оптимизированным» может иметь совершенно разные интерпретации в зависимости от того, какие переменные считаются теми, которые можно варьировать, а какие следует фиксировать.
whuber
1
спасибо изменил вопрос. Я читал, что λ находится путем перекрестной проверки - но я считаю, что это означает, что у вас уже есть βj и вы используете разные данные, чтобы найти лучший λ Вопрос в том, как вы найдете βj в первую очередь. когда λ неизвестно?
Минаж

Ответы:

22

Есть две формулировки для проблемы гребня. Первый

βR=argminβ(yXβ)(yXβ)

при условии

jβj2s.

Эта формулировка показывает ограничение размера на коэффициенты регрессии. Обратите внимание, что подразумевает это ограничение; мы заставляем коэффициенты лежать в шаре вокруг начала координат с радиусом s .

Вторая формулировка - это как раз ваша проблема

βR=argminβ(yXβ)(yXβ)+λβj2

который можно рассматривать как формулировку множителя Ларгранжа. Обратите внимание, что здесь является параметром настройки, и большие значения приведут к большей усадке. Вы можете приступить к дифференцированию выражения относительно β и получить хорошо известную оценку гребняλβ

(1)βR=(XX+λI)1Xy

Эти две формулировки полностью эквивалентны , поскольку существует взаимно-однозначное соответствие между и λsλ .

Позвольте мне подробнее остановиться на этом. Представьте , что вы в идеальном ортогональном случае, . Это очень упрощенная и нереалистичная ситуация, но мы можем исследовать оценщик чуть ближе, так что терпите меня. Рассмотрим, что происходит с уравнением (1). Оценка гребня сводится кXX=I

βR=(I+λI)1Xy=(I+λI)1βOLS

как и в ортогональном случае, оценка OLS определяется как . Глядя на этот компонент теперь мы получаемβOLS=Xy

(2)βR=βOLS1+λ

Обратите внимание, что теперь усадка постоянна для всех коэффициентов. Это может не иметь места в общем случае, и действительно может быть показано, что усадки будут сильно различаться, если в X X есть вырожденияXX матрице .

Но вернемся к проблеме ограниченной оптимизации. Согласно теории ККТ , необходимым условием оптимальности является

λ(βR,j2s)=0

so either λ=0 or βR,j2s=0 (in this case we say that the constraint is binding). If λ=0 then there is no penalty and we are back in the regular OLS situation. Suppose then that the constraint is binding and we are in the second situation. Using the formula in (2), we then have

s=βR,j2=1(1+λ)2βOLS,j2

whence we obtain

λ=βOLS,j2s1

отношения один-к-одному ранее заявлены. Я ожидаю, что это сложнее установить в неортогональном случае, но результат несет независимо.

Посмотрите еще раз на (2), и вы увидите, что мы все еще пропускаем . Чтобы получить для него оптимальное значение, вы можете использовать перекрестную проверку или посмотреть на трассу гребня. Последний метод включает построение последовательности λ в (0,1) и просмотр изменения оценок. Затем вы выбираете λ, который стабилизирует их. Кстати, этот метод был предложен во второй из приведенных ниже ссылок и является самым старым.λλλ

Ссылки

Хёрл, Артур Э. и Роберт В. Кеннард. «Хребетная регрессия: предвзятая оценка для неортогональных задач». Technometrics 12.1 (1970): 55-67.

Хёрл, Артур Э. и Роберт В. Кеннард. «Хребетная регрессия: приложения к неортогональным задачам». Technometrics 12.1 (1970): 69-82.

JohnK
источник
2
@Minaj Хребет регрессии имеет постоянную усадку для всех коэффициентов (кроме перехвата). Вот почему есть только один множитель.
JohnK
2
@amoeba Это предложение Херла и Кеннарда, людей, которые в 1970-х годах внедрили регрессию гребня. Исходя из их опыта - и моего - коэффициенты будут стабилизироваться в этом интервале даже с экстремальными степенями мультиколлинеарности. Конечно, это эмпирическая стратегия, и поэтому она не гарантированно работает все время.
JohnK
2
Вы также можете просто использовать метод псевдонаблюдения и получить оценки, не имея ничего более сложного, чем регрессионная программа с наименьшими квадратами. Вы также можете исследовать эффект изменения аналогичным образом. λ
Glen_b
2
@amoeba Это правда, что гребень не является инвариантом масштаба, поэтому обычной практикой является стандартизация данных заранее. Я включил соответствующие ссылки на случай, если вы захотите взглянуть. Они очень интересные и не очень технические.
JohnK
2
@JohnK в действительности регрессия гребня сжимает каждый на разную величину, поэтому усадка не постоянна, даже если есть только один параметр усадки λ . βλ
Фрэнк Харрелл
4

My book Regression Modeling Strategies delves into the use of effective AIC for choosing λ. This comes from the penalized log likelihood and the effective degrees of freedom, the latter being a function of how much variances of β^ are reduced by penalization. A presentation about this is here. The R rms package pentrace finds λ that optimizes effective AIC, and also allows for multiple penalty parameters (e.g., one for linear main effects, one for nonlinear main effects, one for linear interaction effects, and one for nonlinear interaction effects).

Frank Harrell
источник
1
+1. What do you think of using leave-one-out CV error, computed via the explicit formula (i.e. without actually performing CV), for choosing λ? Do you have any idea about how it in practice compares to "effective AIC"?
amoeba says Reinstate Monica
I haven't studied that. LOOCV takes a lot of computation.
Frank Harrell
Not if the explicit formula is used: stats.stackexchange.com/questions/32542.
amoeba says Reinstate Monica
1
That formula works for the special case of OLS, not for maximum likelihood in general. But there is an approximate formula using score residuals. I do realize we are mainly talking about OLS in this discussion though.
Frank Harrell
1

I don't do it analytically, but rather numerically. I usually plot RMSE vs. λ as such:

enter image description here

Figure 1. RMSE and the constant λ or alpha.

Lennart
источник
Does this mean you fix a certain value of λ and then differentiate the expression to find the βj's after which you compute RMSE and do the process all over again for new values of λ?
Minaj