Вопросы с тегом «optimization»

9

Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом: Trial Hamming Distance 1 0.34 2 0.37 3...

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

9

Рекомендации по численной оптимизации для статистиков

Я ищу надежную ссылку (или ссылки) на методы числовой оптимизации, предназначенные для статистиков, то есть они применили бы эти методы к некоторым стандартным выводным задачам (например, MAP / MLE в распространенных моделях). Такие вещи, как градиентный спуск (прямой и стохастический), ЭМ и его...

estimation references optimization

9

Преимущества подхода к проблеме путем формулирования функции стоимости, которая является глобально оптимизируемой

Это довольно общий вопрос (т.е. не обязательно специфический для статистики), но я заметил тенденцию в машинном обучении и статистической литературе, где авторы предпочитают придерживаться следующего подхода: Подход 1 : Получить решение практической проблемы, сформулировав функцию стоимости, для...

optimization function

9

Как я могу оценить 95% доверительные интервалы, используя профилирование для параметров, оцениваемых путем максимизации логарифмической функции правдоподобия с использованием optim в R?

Как я могу оценить 95% доверительные интервалы, используя профилирование для параметров, оцениваемых путем максимизации логарифмической функции правдоподобия с использованием optim в R? Я знаю, что могу асимптотически оценить ковариационную матрицу, инвертировав гессиан , но я обеспокоен тем, что...

r confidence-interval maximum-likelihood optimization profile-likelihood

9

Оценка параметров с помощью обобщенных линейных моделей

По умолчанию, когда мы используем glmфункцию в R, она использует метод итеративно перевешиваемых наименьших квадратов (IWLS), чтобы найти оценку максимального правдоподобия параметров. Теперь у меня есть два вопроса. Гарантируют ли оценки IWLS глобальный максимум функции правдоподобия? Основываясь...

r estimation generalized-linear-model maximum-likelihood optimization

9

Каковы различия между различными решателями квадратичного программирования R?

Я ищу пакет, который поможет мне решить некоторые задачи квадратичной оптимизации, и я вижу, что есть как минимум полдюжины различных пакетов. Согласно этой странице: QP (квадратичное программирование, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Некоторые из них...

r optimization

9

Почему сумма квадратов не увеличивается при добавлении пояснительной переменной?

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему...

regression optimization econometrics intuition sums-of-squares

9

Почему проксимальный градиентный спуск вместо простых субградиентных методов для Лассо?

Я думал решить Лассо с помощью ванильных субградиентных методов. Но я читал людей, предлагающих использовать проксимальный градиентный спуск. Может ли кто-нибудь подчеркнуть, почему для лассо используются проксимальный GD вместо ванильных субградиентных...

machine-learning optimization lasso gradient-descent

9

Как оптимально распределить ничьи при расчете множественных ожиданий

Предположим, мы хотим вычислить некоторое ожидание: EYЕИкс| Y[f(X,Y) ]EYЕИкс|Y[е(Икс,Y)]E_YE_{X|Y}[f(X,Y)] Предположим, мы хотим приблизить это с помощью моделирования Монте-Карло. ЕYЕИкс| Y[ ф( Х, Y) ] ≈ 1R SΣг = 1рΣs = 1Sе(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx...

optimization conditional-probability simulation expected-value monte-carlo

9

Обучение нейронной сети для регрессии всегда предсказывает среднее

Я тренирую простую сверточную нейронную сеть для регрессии, где задача состоит в том, чтобы предсказать (x, y) расположение блока на изображении, например: Выход сети имеет два узла, один для х, а другой для у. Остальная часть сети является стандартной сверточной нейронной сетью. Потеря...

machine-learning neural-networks optimization deep-learning loss-functions

9

Почему мои шаги становятся меньше при использовании фиксированного размера шага при градиентном спуске?

Предположим, что мы делаем игрушечный пример с градиентом приличия, минимизируя квадратичную функцию , используя фиксированный размер шага α = 0,03 . ( A = [ 10 , 2 ; 2 , 3 ] )ИксTхxTAxx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Если мы построим трассировку на...

r machine-learning optimization gradient-descent

9

Моя нейронная сеть не может даже изучить евклидово расстояние

Поэтому я пытаюсь научить себя нейронным сетям (для регрессионных приложений, а не для классификации изображений кошек). Моими первыми экспериментами было обучение сети внедрению КИХ-фильтра и дискретного преобразования Фурье (обучение сигналам «до» и «после»), поскольку обе эти линейные операции...

machine-learning neural-networks optimization keras euclidean

9

Оптимизация градиентного спуска

Я пытаюсь понять оптимизацию градиентного спуска в алгоритмах ML (машинного обучения). Я понимаю , что есть стоимость функция, где цель состоит в том, чтобы свести к минимуму ошибки у - у . В случае , когда вес ш 1 , ж 2 оптимизируются , чтобы дать минимальную ошибку, и используются в частных...

optimization gradient-descent