Я ищу статью, которая могла бы помочь дать руководство о том, как выбирать гиперпараметры глубокой архитектуры, такие как многоуровневые авто-кодеры или сети с глубоким доверием. Существует много гиперпараметров, и я очень запутался в том, как их выбирать. Также использование перекрестной проверки не вариант, так как обучение действительно занимает много времени!
38
Ответы:
Есть в основном четыре метода:
источник
Существует множество методов. Они могут быть в значительной степени разделены на случайные / ненаправленные методы поиска (такие как поиск по сетке или случайный поиск) и прямые методы. Имейте в виду, однако, что все они требуют тестирования значительного количества настроек гиперпараметра, если вам не повезет (по крайней мере, сотни, зависит от количества параметров).
В классе прямых методов можно выделить несколько различных подходов:
Возможно, вы захотите взглянуть на Optunity , пакет Python, который предлагает множество решателей для настройки гиперпараметров (пока все, что я упомянул, кроме EGO и Kriging). Оптуниты будут доступны для MATLAB и R в ближайшее время. Отказ от ответственности: я являюсь основным разработчиком этого пакета.
Исходя из моего личного опыта, эволюционные методы очень эффективны для решения подобных проблем.
источник
Смотрите не дальше! Йошуа Бенжио опубликовал одну из моих любимых прикладных работ, которую я рекомендую всем новым инженерам машинного обучения, когда они начинают обучать нейронные сети: практические рекомендации для градиентного обучения глубоких архитектур. Чтобы получить представление о повороте гиперпараметра: включая скорость обучения, график скорости обучения, раннюю остановку, размер мини-пакета, количество скрытых слоев и т. Д., См. Раздел 3.
источник