Мы все знакомы с хорошо документированным в литературе представлением о том, что оптимизация LASSO (для простоты ограничим здесь случай линейной регрессии) эквивалентно линейной модели с гауссовыми ошибками, в которой параметры задаются перед Лапласом \ exp (- \ lambda \ | \ beta \ | _1). Нам также известно, что старшая задает параметр настройки, \ лямбда , чем больше порция параметров устанавливается в ноль. При этом у меня возникает следующий вопрос:
Предположим, что с байесовской точки зрения мы можем вычислить апостериорную вероятность того, что, скажем, ненулевые оценки параметров лежат в любом заданном наборе интервалов, а параметры, установленные LASSO на ноль, равны нулю. Что меня смущает, так как при условии, что априор Лапласа непрерывен (фактически абсолютно непрерывен), тогда как может быть любая масса на любом множестве, являющемся произведением интервалов и синглетонов в ?
источник
Ответы:
Как и все вышеприведенные комментарии, байесовская интерпретация LASSO не принимает ожидаемое значение апостериорного распределения, что вы хотели бы сделать, если бы вы были пуристом. Если бы это было так, то вы были бы правы, так как существует очень малая вероятность того, что апостериор будет нулевым, учитывая данные.
В действительности байесовская интерпретация LASSO использует оценку MAP (Maximum A Posteriori) апостериорной. Похоже, вы знакомы, но для тех, кто не знаком, это в основном Байесовское максимальное правдоподобие, где вы используете значение, которое соответствует максимальной вероятности появления (или режиму), в качестве оценщика для параметров в LASSO. Поскольку распределение возрастает экспоненциально до нуля с отрицательного направления и экспоненциально падает в положительном направлении, если ваши данные не предполагают, что бета-версия является каким-то другим значимым значением, максимальное значение вашего апостериорного значения, вероятно, будет равно 0.
Короче говоря, кажется, что ваша интуиция основана на среднем значении апостериорного значения, но байесовская интерпретация LASSO основана на выборе режима апостериорного.
источник