Я новичок в оптимизации. Я продолжаю видеть уравнения, которые имеют верхний индекс 2 и нижний индекс 2 в правой части нормы. Например, вот уравнение наименьших квадратов мин| |A x - b | |22||Ax−b||22 ||Ax-b||^2_2 Я думаю, что понимаю верхний индекс 2: это означает возвести в квадрат значение...
Генетические алгоритмы являются одной из форм метода оптимизации. Часто стохастический градиентный спуск и его производные являются лучшим выбором для оптимизации функций, но генетические алгоритмы все еще иногда используются. Например, антенна космического корабля НАСА ST5 была создана с...
Я знаю определение симметричной положительно определенной (SPD) матрицы, но хочу понять больше. Почему они так важны, интуитивно понятно? Вот что я знаю. Что еще? Для заданных данных матрица Co-дисперсии является SPD. Ковариационная матрица является важной метрикой, см. Этот превосходный пост для...
Почему в обучении глубоких и неглубоких нейронных сетей обычно используются градиентные методы (например, градиентный спуск, Нестеров, Ньютон-Рафсон), а не другие метаэвристики? Под метаэвристикой я подразумеваю такие методы, как имитация отжига, оптимизация колоний муравьев и т. Д., Которые были...
Многие учебники онлайн рассказывают о градиентном спуске, и почти во всех из них используется фиксированный размер шага (скорость обучения ). Почему не используется поиск строк (например, поиск по линии с возвратом или точный поиск по...
Я только изучаю оптимизацию и испытываю трудности с пониманием разницы между выпуклой и невыпуклой оптимизацией. Насколько я понимаю, выпуклая функция - это та, где «отрезок прямой между любыми двумя точками на графике функции лежит выше или на графике». В этом случае можно использовать алгоритм...
Мы определяем эпоху как пройденную через все доступные обучающие выборки, а размер мини-пакета как число выборок, по которым мы усредняем, чтобы найти обновления весов / смещений, необходимые для снижения градиента. Мой вопрос заключается в том, следует ли нам рисовать без замены из набора...
Я пытаюсь свести к минимуму пользовательские функции. Он должен принимать пять параметров и набор данных и выполнять все виды вычислений, выдавая в качестве выходных данных одно число. Я хочу найти комбинацию из пяти входных параметров, которая дает наименьший выход моей...
Есть ли математическое или алгоритмическое определение переоснащения? Часто предоставляемые определения представляют собой классический двухмерный график точек с линией, проходящей через каждую точку, и кривая потерь при проверке внезапно растет. Но есть ли математически строгое...
Я предполагаю, что это основной вопрос, и он связан с направлением самого градиента, но я ищу примеры, где методы 2-го порядка (например, BFGS ) более эффективны, чем простой градиентный...
Существуют современные исследования байесовской оптимизации (1) для настройки гиперпараметров ML. Мотивация здесь заключается в том, что требуется минимальное количество точек данных, чтобы сделать осознанный выбор того, какие точки стоит попробовать (вызовы целевых функций стоят дорого, поэтому...
Из любого общего алгоритма выборки можно получить алгоритм оптимизации. Действительно, чтобы максимизировать произвольную функцию , достаточно извлечь образцы из . При достаточно малых значениях эти выборки окажутся вблизи глобального максимума (или на практике локального максимума) функции .е: x →...
Я видел аналогичный вывод из многих дискуссий, что с увеличением размера мини-пакета конвергенция SGD становится все труднее / хуже, например, в этой статье и в этом ответе . Также я слышал о людях, использующих такие уловки, как небольшая скорость обучения или размеры партий на ранней стадии, для...
Я нашел эту реализацию Python в Дженкс Natural Breaks алгоритма , и я мог бы сделать его запустить на моем компьютере Windows 7. Это довольно быстро, и он находит разрывы за короткое время, учитывая размер моих геоданных. Прежде чем использовать этот алгоритм кластеризации для моих данных, я...
Можно выполнить логит-регрессию в R, используя такой код: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Похоже, что алгоритм оптимизации...
Я пытался написать алгоритм для предложения ставок в 1X2 (взвешенных) играх. По сути, в каждой игре есть набор матчей (домашние и выездные команды): 1: дом побеждает X: привлечь 2: прочь побеждает Для каждого совпадения и символа ( 1, Xи 2) я назначу процент, который представляет шансы /...
Мои вопросы: Обязательно ли обобщенные линейные модели (GLM) сходятся к глобальному максимуму? Если так, то почему? Кроме того, какие ограничения существуют для функции связи для обеспечения выпуклости? Мое понимание GLM состоит в том, что они максимизируют крайне нелинейную функцию правдоподобия....
Я пытаюсь воспроизвести optimрезультаты простой линейной регрессии, снабженной glmили даже nlsR-функциями. Оценки параметров одинаковы, но оценка остаточной дисперсии и стандартные ошибки других параметров не одинаковы, особенно при небольшом размере выборки. Я полагаю, что это из-за различий в...
Мне нужно найти минимум функции. Читая документы по адресу http://docs.scipy.org/doc/scipy/reference/optimize.html, я вижу, что есть несколько алгоритмов, которые делают одно и то же, то есть находят минимум. Как я узнаю, какой из них выбрать? некоторые из перечисленных алгоритмов Минимизируйте...
Каковы преимущества и недостатки обоих