ЛАССО предположения

18

В сценарии регрессии LASSO, где

Yзнак равноИксβ+ε ,

и оценки LASSO задаются следующей задачей оптимизации

минβ||Y-Иксβ||+τ||β||1

Существуют ли какие-либо предположения относительно распределения ε ?

В сценарии OLS можно ожидать, что ε являются независимыми и нормально распределенными.

Имеет ли смысл анализировать остатки в регрессии LASSO?

Я знаю, что оценка LASSO может быть получена как апостериорная мода при независимых двойных экспоненциальных априорах для \ beta_jβJ . Но я не нашел никакой стандартной "фазы проверки предположений".

Заранее спасибо (:

deps_stats
источник

Ответы:

16

Я не эксперт по LASSO, но вот мое мнение.

Прежде всего обратите внимание, что OLS довольно устойчив к нарушениям независимости и нормальности. Затем, исходя из теоремы 7 и приведенного выше обсуждения в статье « Робастная регрессия и лассо» (X. Хуан, С. Караманис и С. Маннор), я предполагаю, что в регрессии LASSO нас больше волнует не распределение , но в совместном распределении . Теорема основана на предположении, что является выборкой, так что это сравнимо с обычными допущениями OLS. Но LASSO менее ограничен, он не ограничивает создание из линейной модели.εя(Yя,Икся)(Yя,Икся)Yя

Подводя итог, ответ на ваш первый вопрос - нет. На нет распределительных предположений , все распределительные предположения на . Кроме того, они слабее, поскольку в LASSO нет постулата об условном распределении .ε(Y,Икс)(Y|Икс)

Сказав это, ответ на второй вопрос также нет. Поскольку не играет никакой роли, нет смысла анализировать их так, как вы анализируете их в OLS (тесты нормальности, гетероскедастичность, Дурбин-Ватсон и т. Д.). Однако вы должны проанализировать их в контексте того, насколько хорошо подходила модель.ε

mpiktas
источник