Мягкая порога против штрафной санкции Лассо

11

Я пытаюсь обобщить то, что я до сих пор понимал в многомерном анализе наказаний с помощью многомерных наборов данных, и я все еще борюсь за то, чтобы получить правильное определение мягкого порогового определения по сравнению с штрафом Лассо (или ).L1

Точнее, я использовал разреженную регрессию PLS для анализа структуры двухблочных данных, включая геномные данные ( однонуклеотидные полиморфизмы , где мы рассматриваем частоту минорного аллеля в диапазоне {0,1,2}, рассматриваемого как числовая переменная) и непрерывные фенотипы (баллы, определяющие количественные характеристики личности или асимметрию мозга, также рассматриваются как непрерывные переменные). Идея заключалась в том, чтобы выделить наиболее влиятельных предикторов (здесь, генетические вариации на последовательности ДНК), чтобы объяснить межиндивидуальные фенотипические вариации.

Первоначально я использовал пакет mixOmics R (ранее integrOmics), в котором предусмотрены штрафные регрессии PLS и регуляризованный CCA . Глядя на код R, мы обнаружили, что «редкость» в предикторах просто вызывается путем выбора верхних переменных с самыми высокими нагрузками (в абсолютном значении) для i- го компонента, i = 1 , , k (алгоритм итеративная и расчетная загрузка переменных для k компонентов, дефлятирование блока предикторов на каждой итерации, см. Sparse PLS: Выбор переменной при интеграции данных Omics для обзора). Наоборот,kii=1,,kkSPLS пакет в соавторстве с С. Keleş (см разреженных частных наименьших квадратов регрессии для одновременного измерения уменьшения и выбора переменных для более формального описания подхода , проведенного этими авторами) реализует -penalization для переменной пенализации.L1

Для меня не очевидно, существует ли строгая «биекция», так сказать, между итеративным выбором признаков на основе мягкого порога и регуляризации . Итак, мой вопрос: есть ли математическая связь между ними?L1

Ссылки

  1. Chun, H. и Kele ̧s, S. (2010), Разреженные частичные наименьшие квадраты для одновременного уменьшения размера и выбора переменной . Журнал Королевского статистического общества: Серия B , 72 , 3–25.
  2. Le Cao, K.-A., Rossouw, D., Robert-Granie, C. и Besse, P. (2008), Редкий PLS для выбора переменных при интеграции данных Omics . Статистические применения в генетике и молекулярной биологии , 7 , статья 35.
хл
источник

Ответы:

2

l1ppl1

user603
источник
@kwak Хорошо, алгоритм LARS кажется в значительной степени более сложным, чем простое определение пороговых значений важности переменных, но дело в том, что я не вижу четкой связи между параметром штрафов и количеством переменных, которые просят сохранить в модели; мне кажется, мы не можем обязательно найти параметр штрафа, который дал бы точно фиксированное число переменных.
ЧЛ
@chl:> Вы имеете в виду S-PLS? (Вы написали LARS, что отличается от любого алгоритма, который вы обсуждали). Действительно, существует монотонная связь между параметром штрафов и числом компонентов, но это не линейное отношение, и это отношение варьируется в зависимости от конкретного случая (зависит от набора данных / проблемы).
user603
@kwak L1-штраф может быть достигнут с помощью LARS, если я не вводу в заблуждение. Ваш второй момент - это то, что я имею в виду на самом деле; есть ли у вас упоминание об этом?
ЧЛ
@chl:> * L1-наказание может быть достигнуто с помощью LARS, если я не введу в заблуждение * я этого не знал (и вроде как сомневался в этом). Можете ли вы предоставить ссылку? Спасибо. на ваш второй вопрос: посмотрите «Степени свободы» лассо Хуэй Цзоу, Тревора Хасти и Роберта Тибширани Источник: Ann. Statist. Том 35, № 5 (2007), 2173-2192. (есть много версий без шлюза).
user603 23.09.10
1
@kwak Посетите веб-страницу Тибширани , www-stat.stanford.edu/~tibs/lasso.html и larsпакет R; другие методы включают спуск по координатам (см. JSS 2010 33 (1), bit.ly/bDNUFo ), а scikit.learnпакет Python предлагает оба подхода, bit.ly/bfhnZz .
ЧЛ
6

L1L1

L1XX1

X

vqv
источник
(+1) Спасибо за это, особенно за статью Фридмана.
хл