Что имеют в виду статистики, когда говорят, что мы не совсем понимаем, как работает LASSO (регуляризация)?

Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает технически, путем предотвращения переоснащения путем сокращения параметров, но мне интересно, есть ли более глубокое значение такого утверждения. У кого-нибудь есть идеи? Спасибо!

machine-learning lasso regularization user321627
источник

Определите «работает». Работает, чтобы сделать то, что конкретно? Работает, чтобы увеличить разреженность? Работает, чтобы предотвратить переоснащение? Работает, чтобы произвести разумные статистические тесты? - Или, другими словами, что будет означать «не работает» в этом контексте? - Как вы можете видеть из комментариев к текущему ответу, есть некоторая путаница относительно того, что вы ищете.

@ РМ, ты на самом деле просто перефразируешь ОП, ИМХО. ОП, вероятно, находится после того же неизвестного, что и тот, который вам сложно идентифицировать.

Ричард Харди

@RichardHardy Я понимаю, как это могло бы иметь место, но если это так, я бы надеялся, что ФП хотя бы расширит контекст в тех переговорах по статистике, в которых обсуждалась эта тема, чтобы, надеюсь, помочь нам сосредоточиться на том, что могли бы сделать эти ораторы. думал.

@ RM, хорошо тогда.

Ричард Харди

Ответы:

Иногда не хватает связи между работающими статистиками и сообществом теоретиков обучения, которые изучают основы таких методов, как лассо. Теоретические свойства лассо на самом деле очень хорошо поняты.

Этот документ содержит краткое изложение в разделе 4 многих свойств, которыми он обладает. Результаты довольно технические, но по сути:

Он восстанавливает истинную поддержку (набор ненулевых записей) вектора разреженного веса при некоторых мягких допущениях для достаточно больших наборов данных с высокой вероятностью.
$X$

AaronDefazio
источник

Если, понимая, почему работает Lasso, вы понимаете, почему он выполняет выбор объектов (т. Е. Устанавливает веса для некоторых объектов равными точно 0), мы понимаем это очень хорошо:

rinspy
источник

Спасибо за хорошую иллюстрацию, но я подозреваю, что это не та часть, в которой заинтересован ФП. Конечно, это зависит от ФП.

Ричард Харди

Я не понимаю суть вашей диаграммы.

Майкл Р. Черник

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@ Chaconne, ваши очки являются отличной основой для ответа!

Ричард Харди

@Chaconne, это, казалось, вызвало полезное обсуждение, хотя, определяя, что мы действительно понимаем о Лассо!

Ринспи

Существует проблема восстановления знака согласованности выбора модели (на что ответили статистики ), и

существует проблема логического вывода (построения хороших доверительных интервалов для оценок), которая является предметом исследования.

Большая часть работы выполняется статистиками, а не «сообществом теории обучения».

Гао Чжэн
источник

Как это добавляет к тому, что уже было дано?

Майкл Р. Черник,

Никто не упомянул здесь проблему умозаключений, которая, по моему мнению, является причиной, по которой претензия («она не совсем понятна») была сделана в первую очередь.

Гао Чжэн