Оптимальный выбор штрафа для лассо

15

Существуют ли аналитические результаты или экспериментальные работы относительно оптимального выбора коэффициента штрафного члена . Под оптимальным я подразумеваю параметр, который максимизирует вероятность выбора наилучшей модели или минимизирует ожидаемые потери. Я спрашиваю, потому что часто нецелесообразно выбирать параметр путем перекрестной проверки или начальной загрузки, либо из-за большого количества случаев проблемы, либо из-за размера рассматриваемой проблемы. Единственный положительный результат, о котором я знаю, это Candes and Plan, идеальный выбор модели путем минимизации . $\ell_1$ $\ell_1$

model-selection lasso shrinkage с промежутками
источник

2

Вам известны документы, устанавливающие результаты согласованности для лассо? Knight & Fu (2000), Yu & Zhao (2006) и различные работы Майнсхаузена.

кардинал

Да, но мой вопрос не об асимптотической согласованности, который является предметом упомянутых вами работ.

gappy

1

Эти документы (в основном) касаются последовательности выбора модели , которая, я бы сказал, очень связана с вопросом, который вы задали. :)

кардинал

2

Оформить теорему 5.1 этого Bickel et al. , Статистически оптимальный выбор с точки зрения ошибки : (с высокой вероятностью) для константы . $\|y-\hat{y}(\lambda)\|_2^2$ $\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$ $A > 2\sqrt{2}$

dohmatob
источник

Похоже, это не совсем подходит, так как требует знания . Фактически, именно эта проблема и мотивирует квадратный корень лассо ( arxiv.org/pdf/1009.5689.pdf )

σ_{n o i s e}

$\sigma_\mathrm{noise}$

user795305

5

Я полагаю, что вас больше всего интересует регрессия, как и в цитируемой статье, а не другие применения -пенальти (скажем, графического лассо). $\ell_1$

Затем я полагаю, что некоторые ответы можно найти в статье « О степенях свободы» лассо, выполненной Zou et al. Вкратце, он дает аналитическую формулу для эффективных степеней свободы , которая для квадрата потери ошибок позволяет заменить CV аналитической статистикой типа , скажем. $C_p$

Еще одно место, которое нужно посмотреть, - это селектор Данцига: статистическая оценка, когда p намного больше n, и документы для обсуждения в том же выпуске Annals of Statistics. Насколько я понимаю, они решают проблему, тесно связанную с регрессией лассо, но с фиксированным выбором коэффициента штрафа. Но, пожалуйста, ознакомьтесь с документами для обсуждения.

Если вы не заинтересованы в прогнозировании, но в выборе модели, я не знаю аналогичных результатов. Оптимальные модели прогнозирования часто приводят к слишком большому количеству выбранных переменных в регрессионных моделях. В статье « Выбор стабильности» Майнсхаузен и Бюльманн представляют метод субсэмплинга, более полезный для выбора модели, но он может быть слишком сложным в вычислительном отношении для ваших нужд.

NRH
источник

(+1) Все три из этих статей заслуживают внимательного прочтения для тех, кто интересуется этой темой. У бумаги выбора Данцига есть очень хорошая математика; однако я не видел, чтобы это получило большую тягу в приложениях, и при этом я не ожидаю этого. Я думаю, помимо всего прочего, очень шумные пути регуляризации заставляют людей нервничать, и поэтому, без очевидной выгоды от лассо, делают его трудно продаваемым.

кардинал

Обратите внимание, что хотя число ненулевых коэффициентов для данного значения параметра регуляризации является несмещенной оценкой для DoFs при этом значении, эта оценка является чрезвычайно высокой дисперсией.

дохматоб

1

Так как этот вопрос был задан, был достигнут интересный прогресс. Например, рассмотрим эту статью

Chichignoud, M., Lederer, J. & Wainwright, M. (2016). Практическая схема и быстрый алгоритм настройки лассо с гарантиями оптимальности. Журнал исследований машинного обучения, 17, 1–17.

Они предлагают метод выбора параметра настройки LASSO с гарантированными конечными выборочными гарантиями для выбора модели. Как говорится в документе, «Для стандартных схем калибровки, в том числе перекрестной проверки, в литературе отсутствуют сопоставимые гарантии. Фактически нам неизвестны какие-либо конечные гарантии образца для стандартных схем калибровки».

user795305
источник

0

Это не отвечает на ваш вопрос, но: в больших настройках данных может быть хорошо настроить регуляризатор с помощью одного разделения на поезд / тест, вместо того, чтобы делать это примерно 10 раз в перекрестной проверке (или больше для начальной загрузки). Размер и репрезентативность выборки, выбранной для devset, определяет точность оценки оптимального регуляризатора.

По моему опыту, удерживаемые потери относительно постоянны в широком диапазоне регуляризаторов. Я уверен, что этот факт не может иметь место для других проблем.

Брендан Оконнор
источник

Оптимальный выбор штрафа для лассо

Ответы: