Существует ли байесовская интерпретация линейной регрессии с одновременной регуляризацией L1 и L2 (она же упругая сеть)?

Хорошо известно, что линейная регрессия с штрафом эквивалентна нахождению оценки MAP с учетом гауссовского априорного коэффициента. Точно так же использование штрафа эквивалентно использованию распределения Лапласа в качестве предыдущего. $l^2$ $l^1$

Нередко используют некоторую взвешенную комбинацию регуляризации и . Можно ли сказать, что это эквивалентно некоторому предварительному распределению по коэффициентам (интуитивно кажется, что так и должно быть)? Можем ли мы дать этому распределению хорошую аналитическую форму (возможно, смесь гауссовского и лапласианского)? Если нет, то почему нет? $l^1$ $l^2$

regression bayesian regularization prior elastic-net Майкл Карри
источник

см. этот документ: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (если на этот вопрос не будет получен правильный ответ через неделю или две, я

опубликую

Я хотел бы добавить , что все время frequentists имеет штраф

, байесовские может интерпретировать это как (возможно неправильный) перед

при стандартной гауссовой модели.

p e n

$pen$

e^{- p e n}

$e^{-pen}$

user795305

спасибо, эта статья и ее цитаты отлично отвечают на мой вопрос!

Майкл Карри

Большой! Вы не против указать, какие цитаты вы имеете в виду? (Я планирую скоро прочитать эту статью и заинтересован в ваших комментариях)

user795305

Хорошо! Я думаю, что их байесовская интерпретация связана с моим вторым комментарием

user795305

Ответы:

Комментарий Бена, вероятно, является достаточным, но я приведу еще несколько ссылок, одна из которых содержится в статье, на которую ссылается Бен.

Байесовское представление упругих сетей было предложено Kyung et. и др. в их разделе 3.1. Хотя априорная оценка для коэффициента регрессии была правильной, авторы неправильно записали представление смеси. $\beta$

Исправленная байесовская модель для упругой сети была недавно предложена Роем и Чакраборти (их уравнение 6). Далее авторы представляют соответствующий пробоотборник Гиббса для выборки из апостериорного распределения и показывают, что пробоотборник Гиббса сходится к стационарному распределению с геометрической скоростью. По этой причине эти ссылки могут оказаться полезными, в дополнение к статье Ганса .

Greenparker
источник

(+1) Отличный ответ!

user795305

для любого в будущем - на все статьи стоит обратить внимание, но статья Ганса дает вам несколько пробоотборников Гиббса для различных распределений, а также иерархическое представление априора, которое можно легко перевести в Stan.

Майкл Карри