В курсе машинного обучения я узнал, что одним из распространенных применений PCA ( анализ основных компонентов ) является ускорение других алгоритмов машинного обучения. Например, представьте, что вы тренируете модель логистической регрессии. Если у вас есть обучающий набор для i от 1 до n, и...
Я никогда не уверен, когда использовать одно горячее кодирование для неупорядоченных категориальных переменных, а когда нет. Я использую его всякий раз, когда алгоритм использует метрику расстояния для вычисления сходства. Может ли кто-нибудь дать общее эмпирическое правило относительно того, какие...
Соревнования Kaggle определяют итоговые рейтинги на основе проведенного тестового набора. Выдержанный тестовый набор является образцом; он не может быть репрезентативным для моделируемого населения. Поскольку каждое представление похоже на гипотезу, алгоритм, выигравший соревнование, может,...
Целевой функцией анализа главных компонентов (PCA) является минимизация ошибки восстановления в норме L2 (см. Раздел 2.12 здесь . Другое представление пытается максимизировать дисперсию проекции. У нас также есть отличная статья здесь: Какова целевая функция PCA ? ) Мой вопрос заключается в том,...
Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 2 года назад . Сейчас я учусь в классе линейной регрессии, но я не могу избавиться от...
Я выполняю эксперименты на валидации EMNIST, используя сети с RMSProp, Adam и SGD. Я достиг 87% точности с SGD (скорость обучения 0,1) и отсева (0,1 отсева), а также регуляризация L2 (1e-05 штраф). При тестировании точно такой же конфигурации с RMSProp и Adam, а также с начальной скоростью обучения...
Интересно, какова внутренняя ценность использования среднего гармонического (например, для вычисления F-мер), в отличие от взвешенного арифметического среднего в сочетании точности и отзыва? Я думаю, что взвешенное среднее арифметическое может играть роль гармонического среднего, или я что-то...
Нормализация партии была приписана существенным улучшениям производительности в глубоких нейронных сетях. Много материала в интернете показывает, как реализовать его на основе активации за активацию. Я уже реализовал backprop, используя матричную алгебру, и учитывая, что я работаю на языках...
Всегда ли использование «вариационного» относится к оптимизации через вариационный вывод? Примеры: «Вариационный автокодер» «Вариационные байесовские методы» "Вариационная перенормировочная группа"...
Функция softmax, обычно используемая в нейронных сетях для преобразования действительных чисел в вероятности, является той же самой функцией, что и распределение Больцмана, распределение вероятностей по энергиям для ансамбля частиц в тепловом равновесии при заданной температуре T в термодинамике. Я...
В настоящее время я пытаюсь обернуть голову вокруг математики t-SNE . К сожалению, есть еще один вопрос, на который я не могу ответить удовлетворительно: каково реальное значение осей в графике t-SNE? Если бы я выступил с докладом на эту тему или включил бы его в любую публикацию: как бы я...
Я искал теоретические основы для выбора метода (примечание: не выбор модели) и нашел очень мало систематической, математически мотивированной работы. Под «выбором метода» я подразумеваю основу для различения подходящего (или лучшего, оптимального) метода по отношению к проблеме или типу проблемы....
Существует ли какой-либо стандартный метод определения «оптимальной» рабочей точки на кривой точного возврата ? (то есть, определение точки на кривой, которая предлагает хороший компромисс между точностью и отзывом)...
Скажем, у меня есть модель прогнозирующей классификации, основанная на случайном лесу (используя пакет randomForest в R). Я хотел бы настроить его так, чтобы конечные пользователи могли указать элемент, для которого создается прогноз, и он выведет вероятность классификации. Пока проблем нет. Но...
Каковы преимущества придания определенных начальных значений вероятностям перехода в скрытой марковской модели? В конце концов система изучит их, так какой смысл давать значения, отличные от случайных? Имеет ли базовый алгоритм такую разницу, как Баум-Уэлч? Если бы я очень точно знал вероятности...
Я работаю с некоторыми большими наборами данных, используя пакет gbm в R. И моя матрица предикторов, и мой вектор ответов довольно редки (то есть большинство записей равно нулю). Я надеялся построить деревья решений, используя алгоритм, который использует преимущества этой редкости, как это было...
Это было в моей голове, по крайней мере, несколько часов. Я пытался найти оптимальное k для вывода из алгоритма k-средних (с метрикой косинусного сходства ), поэтому в итоге я построил график искажения как функции от числа кластеров. Мой набор данных представляет собой коллекцию из 800 документов в...
В этой статье об Adaboost приведены некоторые предложения и код (стр. 17) для расширения моделей с 2 классами до задач класса K. Я хотел бы обобщить этот код так, чтобы я мог легко подключить различные 2-классовые модели и сравнить результаты. Поскольку большинство моделей классификации имеют...
Я использую нейронную сеть в R, чтобы построить NN с 14 входами и одним выходом. Я строю / обучаю сеть несколько раз, используя одни и те же входные данные обучения и ту же архитектуру / настройки сети. После создания каждой сети я использую ее на отдельном наборе тестовых данных для вычисления...
В середине 1960-х годов исследователи стали называть шахматы « дрозофилой искусственного интеллекта»: как и плодовая муха, игра в шахматы была доступной и относительно простой задачей для экспериментов, которая, тем не менее, давала важные знания более сложным проблемам. Теперь, кажется, люди...