Я пытаюсь использовать модель LASSO для прогнозирования, и мне нужно оценить стандартные ошибки. Наверняка кто-то уже написал пакет для этого. Но, насколько я вижу, ни один из пакетов в CRAN, которые делают прогнозы с использованием LASSO, не будет возвращать стандартные ошибки для этих прогнозов.
Итак, мой вопрос: есть ли пакет или некоторый код R для вычисления стандартных ошибок для прогнозов LASSO?
r
standard-error
prediction
lasso
Роб Хиндман
источник
источник
monomvn
, см. Мой ответ ниже.Ответы:
Kyung et al. (2010), «Наказанная регрессия, стандартные ошибки и байесовские лассо», Байесовский анализ, 5 , 2 , указывают на то, что не может быть консенсуса в отношении статистически достоверного метода расчета стандартных ошибок для лассо-предсказаний. Тибширани, похоже, согласен (слайд 43), что стандартные ошибки все еще остаются нерешенной проблемой.
источник
На связанной ноте, которая может быть полезной, Tibshirani и коллеги предложили тест значимости для лассо. Документ доступен, и под названием «Тест значение для лассо». Свободную версию статьи можно найти здесь.
источник
Ответ Sandipan Karmakar говорит вам, что делать, это должно помочь вам на «как»:
[...]
источник
Байесовский LASSO является единственной альтернативой задаче расчета стандартных ошибок. Стандартные ошибки автоматически рассчитываются в байесовском LASSO ... Вы можете очень легко реализовать байесовский LASSO, используя схему выборки Гиббса ...
Затем можно использовать выборку Гиббса для моделирования цепочки. См. Park & Cassella (2008), «Байесовское лассо», JASA , 103 , 482 .
Есть три врожденных недостатка частых LASSO:
Иерархическая структура рассматриваемой проблемы не может быть закодирована с использованием частичной модели, что довольно просто в байесовской структуре.
источник
Чтобы добавить к ответам выше, проблема, как представляется, заключается в том, что даже начальной загрузки, вероятно, недостаточно, поскольку оценка из оштрафованной модели смещена, а начальная загрузка будет говорить только с дисперсией - игнорируя смещение оценки. Это хорошо изложено в виньетке для оштрафованного пакета на стр. 18 .
Однако, если используется для прогнозирования, зачем нужна стандартная ошибка модели? Не можете ли вы провести перекрестную проверку или начальную загрузку надлежащим образом и создать стандартную ошибку вокруг показателя, связанного с предсказанием, такого как MSE?
источник
В R имеется пакет selectedInference, https://cran.r-project.org/web/packages/selectiveInference/index.html , который предоставляет доверительные интервалы и значения p для ваших коэффициентов, установленных в LASSO, на основе следующего документа. :
Стивен Рид, Джером Фридман и Роб Тибширани (2014). Исследование оценки дисперсии ошибок в регрессии Лассо. Arxiv: 1311.5274
PS: просто поймите, что это приводит к оценкам ошибок для ваших параметров, а не к ошибке в вашем окончательном прогнозе, если это то, что вам нужно ... Я полагаю, вы могли бы использовать «интервалы прогнозирования населения» для этого, если хотите ( параметры передискретизации в соответствии с подгонкой после многомерного нормального распределения).
источник