Вопросы с тегом «hyperparameter»

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91,...

В настоящее время я прохожу случайный поиск по гиперпараметрической оптимизации Bengio и Bergsta [1], где авторы утверждают, что случайный поиск более эффективен, чем поиск по сетке, для достижения примерно одинаковой производительности. Мой вопрос: согласны ли здесь люди с этим утверждением? В...

Я ищу статью, которая могла бы помочь дать руководство о том, как выбирать гиперпараметры глубокой архитектуры, такие как многоуровневые авто-кодеры или сети с глубоким доверием. Существует много гиперпараметров, и я очень запутался в том, как их выбирать. Также использование перекрестной проверки...

Я читал об оптимизаторе Адама для Deep Learning и натолкнулся на следующее предложение в новой книге « Deep Learning » Бенджо, Гудфеллоу и Курвилля: Адам, как правило, считается достаточно устойчивым к выбору гиперпараметров, хотя скорость обучения иногда необходимо изменить по сравнению с...

Может кто-нибудь объяснить, какова естественная интерпретация гиперпараметров LDA? ALPHAи BETAявляются параметрами распределения Дирихле для (по документу) темы и (по теме) словосочетания соответственно. Однако кто-то может объяснить, что значит выбирать большие значения этих гиперпараметров по...

Я знаю, что выполнение настройки гиперпараметра вне перекрестной проверки может привести к смещенно высоким оценкам внешней достоверности, потому что набор данных, который вы используете для измерения производительности, тот же, который вы использовали для настройки функций. Мне интересно,...

Таким образом, в нормальном распределении у нас есть два параметра: среднее значение и дисперсия . В книге « Распознавание образов и машинное обучение» внезапно появляется гиперпараметр в терминах регуляризации функции ошибок.μμ\muσ2σ2\sigma^2λλ\lambda Какие гиперпараметры? Почему они названы...

У меня есть набор данных из 140000 примеров и 30 функций, для которых я готовлю несколько классификаторов для двоичной классификации (SVM, логистическая регрессия, случайный лес и т. Д.) Во многих случаях настройка гиперпараметра для всего набора данных с использованием поиска по сетке или...

Существуют современные исследования байесовской оптимизации (1) для настройки гиперпараметров ML. Мотивация здесь заключается в том, что требуется минимальное количество точек данных, чтобы сделать осознанный выбор того, какие точки стоит попробовать (вызовы целевых функций стоят дорого, поэтому...

Я прочитал следующие посты о вложенной перекрестной проверке и до сих пор не уверен на 100%, что мне делать с выбором модели с вложенной перекрестной проверкой: Вложенная перекрестная проверка для выбора модели Выбор модели и перекрестная проверка: правильный путь Чтобы объяснить мою путаницу,...

Во-первых, извинения за размещение вопроса, который уже подробно обсуждался здесь , здесь , здесь , здесь , здесьи для разогрева старой темы. Я знаю, что @DikranMarsupial подробно писал об этой теме в постах и ​​журнальных статьях, но я все еще в замешательстве, и, судя по количеству подобных...

Итак, мы знаем, что случайный поиск работает лучше, чем поиск по сетке, но более поздним подходом является байесовская оптимизация (с использованием гауссовских процессов). Я посмотрел сравнение между ними и ничего не нашел. Я знаю, что в cs231n Стэнфорда они упоминают только случайный поиск, но,...

Моя цель - классифицировать сигналы датчиков. Концепция моего решения на данный момент такова: i) Инженерные функции из необработанного сигнала ii) Выбор соответствующих функций с ReliefF и подходом кластеризации iii) Применение NN, Random Forest и SVM Однако я попал в ловушку дилеммы. В ii) и iii)...

Прогнозируемые классы из (двоичной) логистической регрессии определяются с использованием порога вероятностей членства в классе, генерируемых моделью. Насколько я понимаю, обычно используется 0.5 по умолчанию. Но изменение порога изменит предсказанные классификации. Означает ли это, что порог...

Я пытаюсь настроить гиперпараметры алгоритма гауссовой регрессии, который я реализовал. Я просто хочу максимизировать предельное правдоподобие, определяемое формулой где K - ковариационная матрица с элементы K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) + a ^...

Есть ли литература, в которой рассматривается выбор размера мини-партии при выполнении стохастического градиентного спуска? По моему опыту, это, кажется, эмпирический выбор, обычно находящийся в перекрестной проверке или с использованием различных практических правил. Является ли хорошей идеей...

В иерархической модели данных где на практике типичным является выбор значений ( , что среднее значение и дисперсия гамма-распределения примерно соответствуют среднему значению и дисперсии данных (например, Clayton and Kaldor, 1987 "Эмпирические байесовские оценки стандартизированных по возрасту...

Я реализовывал довольно популярную статью « ОБЪЯСНЕНИЕ И ПРИМЕНЕНИЕ ОБОБЩЕННЫХ ПРИМЕРОВ », и в статье она обучает противоборствующей целевой функции. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Он рассматривает α как гиперпараметр. α может быть 0,1, 0,2, 0,3 и т. д. Независимо от этой конкретной статьи,...

Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения. Если это правильно, то...

Я часто вижу людей, говорящих о перекрестной проверке 5x2 как частном случае вложенной перекрестной проверки . Я предполагаю, что первое число (здесь: 5) относится к числу сгибов во внутренней петле, а второе число (здесь: 2) относится к числу сгибов во внешней петле? Итак, чем это отличается от...