Вопросы с тегом «machine-learning»

Методы и принципы построения «компьютерных систем, которые автоматически улучшаются с опытом».

119
В чем проблема «умирающего ReLU» в нейронных сетях?

Ссылаясь на заметки Стэнфордского курса о сверточных нейронных сетях для визуального распознавания , в параграфе говорится: «К сожалению, юниты ReLU могут быть хрупкими во время обучения и могут« умереть ». Например, большой градиент, протекающий через нейрон ReLU, может привести к тому, что веса...

115
Функция кросс-энтропийной ошибки в нейронных сетях

В MNIST для начинающих ML они определяют кросс-энтропию как Hy′(y):=−∑iy′ilog(yi)Hy′(y):=−∑iyi′log⁡(yi)H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i) yiyiy_i - это прогнозируемое значение вероятности для классаiii аy′iyi′y_i' - истинная вероятность для этого класса. Вопрос 1 Разве это не проблема, что...

101
Python vs R для машинного обучения

Я только начинаю разрабатывать приложение машинного обучения для академических целей. В настоящее время я использую R и тренируюсь в этом. Тем не менее, во многих местах я видел людей, использующих Python . Что люди используют в научных кругах и промышленности, и какова...

85
Выбор скорости обучения

В настоящее время я работаю над внедрением Stochastic Gradient Descent, SGDдля нейронных сетей, использующих обратное распространение, и, хотя я понимаю его назначение, у меня есть несколько вопросов о том, как выбрать значения для скорости обучения. Связана ли скорость обучения с формой градиента...

80
Как вы визуализируете архитектуры нейронных сетей?

При написании статьи / создании презентации по теме, касающейся нейронных сетей, обычно визуализируют архитектуру сетей. Каковы хорошие / простые способы автоматической визуализации общих...

73
Почему функции стоимости используют квадратную ошибку?

Я только начинаю с машинного обучения, и до сих пор я имел дело с линейной регрессией по одной переменной. Я узнал, что существует гипотеза: часθ( х ) = θ0+ θ1Иксhθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x Чтобы найти хорошие значения для параметров и мы хотим минимизировать разницу между...

66
Специалист по данным против инженера машинного обучения

Каковы различия, если таковые имеются, между «ученым данных» и «инженером машинного обучения»? За прошедший год или около того «инженер машинного обучения» стал часто появляться на вакансиях. Это особенно заметно в Сан-Франциско, где, возможно, и возник термин «ученый данных». В какой-то момент...

66
Когда я должен использовать Gini Impurity, а не Gain?

Может ли кто-нибудь практически объяснить обоснованность примеси Джини против получения информации (на основе энтропии)? Какой показатель лучше использовать в различных сценариях при использовании деревьев...

64
Преимущества AUC по сравнению со стандартной точностью

Я начал изучать область под кривой (AUC) и немного запутался в ее полезности. Когда мне впервые объяснили, AUC показался отличным показателем производительности, но в моем исследовании я обнаружил, что некоторые утверждают, что его преимущество в основном незначительно, так как он лучше всего...

64
строки как объекты в дереве решений / случайном лесу

Я делаю некоторые проблемы с применением дерева решений / случайного леса. Я пытаюсь приспособить проблему, в которой в качестве функций есть цифры, а также строки (например, название страны). Теперь библиотека scikit-learn принимает только числа в качестве параметров, но я хочу ввести строки, так...

61
Обнаружение аномалий с открытым исходным кодом в Python

Проблема: я работаю над проектом, в котором используются файлы журналов, аналогичные тем, которые находятся в пространстве мониторинга ИТ (насколько я понимаю, пространство ИТ). Эти файлы журнала представляют собой данные временных рядов, организованные в сотни / тысячи строк с различными...

53
RNN против CNN на высоком уровне

Я думал о рекуррентных нейронных сетях (RNN) и их разновидностях, а также о сверточных нейронных сетях (CNN) и их разновидностях. Будут ли справедливы эти два момента, чтобы сказать: Используйте CNN, чтобы разбить компонент (например, изображение) на подкомпоненты (например, объект на изображении,...

51
Кластеризация координат географического местоположения (широта, длинные пары)

Каков правильный подход и алгоритм кластеризации для геолокации? Я использую следующий код для кластеризации координат геолокации: import numpy as np import matplotlib.pyplot as plt from scipy.cluster.vq import kmeans2, whiten coordinates= np.array([ [lat, long], [lat, long], ... [lat, long] ]) x,...

49
Нейронные сети: какую функцию стоимости использовать?

Я использую TensorFlow для экспериментов в основном с нейронными сетями. Хотя я провел довольно много экспериментов (XOR-Problem, MNIST, некоторые вещи регрессии, ...), я борюсь с выбором «правильной» функции стоимости для конкретных задач, потому что в целом я мог бы считаться новичком. До прихода...

49
Почему переобучение плохо в машинном обучении?

Логика часто утверждает, что из-за переобучения модели ее способность к обобщению ограничена, хотя это может означать лишь то, что переоснащение мешает модели улучшиться после определенной сложности. Вызывает ли переоснащение моделей ухудшение независимо от сложности данных, и если да, то почему...

48
Есть ли домен, в котором байесовские сети превосходят нейронные сети?

Нейронные сети получают лучшие результаты в задачах Computer Vision (см. MNIST , ILSVRC , Kaggle Galaxy Challenge ). Кажется, они превосходят любой другой подход в Computer Vision. Но есть и другие задачи: Kaggle Molecular Activity Challenge Регрессия: предсказание Kaggle Rain , также 2-е место...

48
Должен ли я пойти на «сбалансированный» набор данных или «представительный» набор данных?

Моя задача «машинного обучения» - отделить доброкачественный интернет-трафик от вредоносного. В сценарии реального мира большая часть (скажем, 90% или более) интернет-трафика является доброкачественной. Таким образом, я почувствовал, что должен выбрать аналогичную настройку данных для обучения...