Наука о данных

10
Отбор характеристик и соотношение точности классификации

Одна из методологий выбора подмножества доступных функций для вашего классификатора состоит в том, чтобы ранжировать их в соответствии с критерием (таким как получение информации), а затем рассчитать точность, используя ваш классификатор и подмножество ранжированных функций. Например, если у вас...

10
Spark ALS: рекомендация для новых пользователей

Вопрос Как я могу предсказать рейтинг нового пользователя в модели ALS, обученной в Spark? (Новое = не видно во время тренировки) Проблема Я следую официальному учебнику Spark ALS здесь: http://ampcamp.berkeley.edu/big-data-mini-course/movie-recommendation-with-mllib.html Я могу построить хороший...

10
Почему TensorFlow не может соответствовать простой линейной модели, если я минимизирую абсолютную среднюю ошибку вместо среднеквадратичной ошибки?

Во введении я только что изменился loss = tf.reduce_mean(tf.square(y - y_data)) в loss = tf.reduce_mean(tf.abs(y - y_data)) и модель не в состоянии узнать, потеря только стала больше со временем....

10
Как сравнить производительность методов выбора функций?

Существует несколько подходов выбора функций / выбора переменных (см., Например, Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): методы фильтрации (например, на основе корреляции, на основе энтропии, на основе важности случайных лесов), методы обертки (например, поиск вперед, поиск восхождения на...

10
Как именно DropOut работает со сверточными слоями?

Выпадение ( статья , объяснение ) обнуляет вывод некоторых нейронов. Таким образом, для MLP у вас может быть следующая архитектура для набора данных цветов Iris : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Это будет работать так:...

10
Избегайте перезагрузки DataFrame между разными ядрами Python

Есть ли способ сохранить переменную (большой стол / фрейм данных) в памяти и разделить ее между несколькими ноутбуками ipython? Я бы искал что-то, что концептуально похоже на постоянные переменные MATLAB. Там можно вызывать пользовательскую функцию / библиотеку из нескольких отдельных редакторов...

10
Рекуррентная (CNN) модель на данных ЭЭГ

Мне интересно, как интерпретировать рекуррентную архитектуру в контексте ЭЭГ. В частности, я думаю об этом как о рекуррентном CNN (в отличие от архитектур типа LSTM), но, возможно, это относится и к другим типам рекуррентных сетей. Когда я читаю о R-CNN, они обычно объясняются в контексте...

10
Gradient Boosting Tree: «чем больше переменная, тем лучше»?

Из руководства по XGBoost я думаю, что когда каждое дерево растет, все переменные сканируются для выбора для разделения узлов, и будет выбрана та, которая имеет максимальное разделение усиления. Поэтому мой вопрос заключается в том, что, если я добавлю некоторые шумовые переменные в набор данных,...

10
Как использовать GAN для извлечения неконтролируемой функции из изображений?

Я понял, как работает GAN, в то время как две сети (генеративная и дискриминационная) конкурируют друг с другом. Я построил DCGAN (GAN с сверточным дискриминатором и деконволюционным генератором), который теперь успешно генерирует рукописные цифры, аналогичные тем, которые указаны в наборе данных...

10
Как проверить мертвые нейроны релю

Предыстория: при настройке нейронных сетей с активацией Relu я обнаружил, что иногда прогноз становится почти постоянным. Я полагаю, что это связано с гибелью нейронов релу во время тренировок, как указано здесь. (В чем проблема «умирающего ReLU» в нейронных сетях? ) Вопрос: Что я надеюсь сделать,...

10
Как определить сложность английского предложения?

Я работаю над приложением, чтобы помочь людям выучить английский как второй язык. Я подтвердил, что предложения помогают в изучении языка, предоставляя дополнительный контекст. Я сделал это, проведя небольшое исследование в классе из 60 учеников. Я добыл более ста тысяч предложений из Википедии для...

10
Что такое матрица функций в word2vec?

Я новичок в нейронных сетях, и в настоящее время я изучаю модель word2vec. Однако мне трудно понять, что такое матрица функций. Я могу понять, что первая матрица является горячим вектором кодирования для данного слова, но что означает вторая матрица? Более конкретно, что означает каждое из этих...

10
Достаточно ли Excel для науки о данных?

Я готовлюсь к вводному курсу по науке о данных с использованием языка программирования R. Моя аудитория - студенты, специализирующиеся на бизнес-дисциплинах. У типичного бизнес-старшекурсника нет опыта программирования, но он прошел несколько классов, в которых используется Excel. Лично мне очень...

10
Сеть искусственных нейронов (ANN) с произвольным числом входов и выходов

Я хотел бы использовать ANNs для моей проблемы, но проблема заключается в том, что номера входов и выходов не являются фиксированными. Я сделал поиск в Google, прежде чем задавать вопрос, и обнаружил, что RNN может помочь мне с моей проблемой. Но все примеры, которые я нашел, так или иначе...

10
Найдите последовательные нули в DataFrame и выполните условную замену

У меня есть такой набор данных: Примерный фрейм данных import pandas as pd df = pd.DataFrame({ 'names': ['A','B','C','D','E','F','G','H','I','J','K','L'], 'col1': [0, 1, 0, 1, 1, 1, 0, 0, 0, 1, 0, 0], 'col2': [0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 0]}) Я хотел бы заменить некоторые из 0«s в col1и col2с...

10
Как выполнить логистическую регрессию с большим количеством функций?

У меня есть набор данных с 330 выборками и 27 функциями для каждой выборки, с проблемой двоичного класса для логистической регрессии. Согласно «правилу если десять» мне нужно по крайней мере 10 событий для каждой функции, которая будет включена. Тем не менее, у меня есть несбалансированный набор...

10
Почему это ускоряет градиентный спуск, если функция плавная?

Сейчас я читаю книгу под названием «Практическое машинное обучение с Scikit-Learn и TensorFlow», а в главе 11 она содержит следующее описание объяснения ELU (Exponential ReLU). В-третьих, функция является гладкой везде, в том числе около z = 0, что помогает ускорить градиентный спуск, так как она...

10
Сортировка номеров, используя только 2 скрытых слоя

Я читаю основополагающую статью Илья Суцкевер и Куок Ле, « Последовательность к обучению последовательностей с использованием нейронных сетей ». На первой странице кратко упоминается, что: A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers...

10
Имеет ли смысл ближайший сосед с t-SNE?

Ответы здесь утверждают, что размеры в t-SNE не имеют смысла , и что расстояния между точками не являются мерой сходства . Однако можем ли мы что-нибудь сказать о точке, основанной на ее ближайших соседях в пространстве t-SNE? Этот ответ на вопрос, почему точки, которые в точности совпадают, не...