Вопросы с тегом «word2vec»

Word2vec - это нейронная сеть, которая представляет слова как векторы в многомерном пространстве.

39
LDA против word2vec

Я пытаюсь понять, в чем сходство скрытого распределения Дирихле и word2vec для вычисления сходства слов. Как я понимаю, LDA отображает слова в вектор вероятностей скрытых тем, в то время как word2vec отображает их в вектор действительных чисел (относительно разложения по сингулярным точкам...

38
Применить вложения слов ко всему документу, чтобы получить вектор объектов

Как использовать вложение слов для сопоставления документа с вектором объектов, подходящим для использования с контролируемым обучением? Слово вложение отображает каждое слово к вектору , где некоторые не слишком большое количество (например, 500). Популярные вложения слова включают в себя word2vec...

29
R: Случайный лес, выбрасывающий NaN / Inf в ошибке «вызова сторонней функции», несмотря на отсутствие NaN в наборе данных [закрыто]

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 2 года назад . Я использую каретку, чтобы запустить перекрестный проверенный случайный лес по набору данных. Переменная...

19
Как работает отрицательная выборка в word2vec?

Я изо всех сил пытался понять концепцию отрицательной выборки в контексте word2vec. Я не могу переварить идею [отрицательной] выборки. Например, в работах Миколова отрицательное ожидание выборки формулируется как журналσ( ⟨ Ш , с ⟩ ) + K ⋅ EсN∼ PD[ журналσ( - ⟨ ш , грN⟩ ) ]...

17
Интерпретация отрицательного косинуса сходства

Мой вопрос может быть глупым. Поэтому я заранее извинюсь. Я пытался использовать модель GLOVE, предварительно подготовленную группой Stanford NLP ( ссылка ). Тем не менее, я заметил, что мои результаты сходства показали некоторые отрицательные числа. Это сразу же побудило меня взглянуть на файл...

13
Как рассчитывается метод сходства в SpaCy?

Не уверен, что это правильный сайт стека, но здесь идет. Как работает метод .similiarity? Wow spaCy это здорово! Его модель tfidf может быть проще, но w2v только с одной строкой кода ?! В своем 10-строчном уроке по spaCy andrazhribernik показывает нам метод сходства, который можно использовать для...

12
Почему иерархический софтмакс лучше для нечастых слов, а отрицательная выборка лучше для частых слов?

Интересно, почему иерархический софтмакс лучше подходит для нечастых слов, а отрицательная выборка лучше для частых слов в моделях CBOW и skip-грамм word2vec. Я прочитал претензию на https://code.google.com/p/word2vec/...

11
Алгоритмы встраивания слов с точки зрения производительности

Я пытаюсь вставить примерно 60 миллионов фраз в векторное пространство , а затем вычислить косинусное сходство между ними. Я использовал sklearn CountVectorizerс пользовательской функцией токенизатора, которая создает униграммы и биграммы. Оказывается, чтобы получить осмысленное представление, мне...

11
Как модель скип-граммы Word2Vec генерирует выходные векторы?

У меня проблемы с пониманием скип-грамматической модели алгоритма Word2Vec. В непрерывном пакете слов легко увидеть, как контекстные слова могут «вписаться» в нейронную сеть, поскольку вы в основном усредняете их после умножения каждого из представлений кодирования с одним горячим кодированием на...

11
Обработка неизвестных слов в задачах моделирования языка с использованием LSTM

Для задачи обработки естественного языка (NLP) часто используют векторы word2vec в качестве вложения для слов. Тем не менее, может быть много неизвестных слов, которые не перехвачены векторами word2vec просто потому, что эти слова не видны достаточно часто в обучающих данных (многие реализации...

11
Как определить параметры для t-SNE для уменьшения размеров?

Я очень плохо знаком с встраиванием слов. Я хочу визуализировать, как документы выглядят после обучения. Я читал, что t-SNE - это подход к этому. У меня есть 100K документов с 250 размерами в качестве размера вложения. Также доступно несколько пакетов. Однако, для t-SNE, я не знаю, сколько...

10
Производная перекрестной потери энтропии в word2vec

Я пытаюсь проработать первый набор проблем из материала онлайн-курса cs224d в Стэнфорде, и у меня возникли некоторые проблемы с проблемой 3A: При использовании модели пропуска грамм word2vec с функцией прогнозирования softmax и функцией кросс-энтропийной потери мы хочу вычислить градиенты по...

9
Градиенты для скипграмм word2vec

Я изучаю проблемы письменных заданий в классе глубокого обучения Стэнфордского НЛП http://cs224d.stanford.edu/assignment1/assignment1_soln Я пытаюсь понять ответ для 3а, где они ищут производную от вектора для центрального слова. Предположим, вам дан вектор предсказанного слова соответствующий...