Являются ли Word2Vec и Doc2Vec распределенным представлением или распределенным представлением?

10

Я читал, что представление о распределении основано на гипотезе о том, что слова, встречающиеся в сходном контексте, имеют сходное значение.

Word2Vec и Doc2Vec оба смоделированы в соответствии с этой гипотезой. Но в оригинальной статье даже они названы как Distributed representation of words and phrasesи Distributed representation of sentences and documents. Итак, основаны ли эти алгоритмы на распределенном представлении или распределенном представлении.

Как насчет других моделей, таких как LDA и LSA.

nlp word-embeddings terminology word2vec yazhi
источник

5

По сути, Word2Vec / Doc2Vec основан на том, distributional hypothesisгде контекст для каждого слова является его близлежащими словами. Точно так же LSA берет весь документ как контекст. Оба метода решают word embeddingпроблему - встраивают слова в непрерывное векторное пространство, сохраняя семантически связанные слова близко друг к другу.

С другой стороны, LDA не предназначен для решения той же проблемы. Они имеют дело с другой проблемой topic modeling, которая называется поиск скрытых тем в наборе документов.

Ту Н.
источник

Я получил ответ от групп Google, в котором говорилось, что он распространен и распространен в разных ракурсах. Распределение в терминах используемой гипотезы и распределение в терминах распределенных признаков в векторном пространстве.

Яжи

v_{k i n g}

$v_{king}$ maleroyal

v_{q u e e n}

$v_{queen}$ femaleroyal

v_{k i n g} - v_{q u e e n} \sim v_{m a n} - v_{w o m a n}

$v_{king} - v_{queen} \sim v_{man} - v_{woman}$

2

Туриан, Иосиф, Лев Ратинов и Йошуа Бенжио. « Представления слов: простой и общий метод для обучения под наблюдением ». Материалы 48-го ежегодного собрания ассоциации по компьютерной лингвистике. Ассоциация компьютерной лингвистики, 2010 г., определяет распределенные представления и распределенные представления следующим образом:

$F$ $W×C$ $W$ $F_w$ $w$ $F_c$ $F$ $F_w$ $W$ $F_w$ $F$ $d << C$ $F_w$ $w$ $d$ $g$ $F$

Распределенная представление плотно, маломерная и вещественная. Распределенные представления слов называются вложениями слов. Каждое измерение вложения представляет скрытую особенность слова, мы надеемся, захватывая полезные синтаксические и семантические свойства. Распределенное представление является компактным в том смысле, что оно может представлять экспоненциальное число кластеров в количестве измерений.

К вашему сведению: в чем разница между векторами слов, представлениями слов и вложениями векторов?

Франк Дернонкур
источник

2

Такая же путаница сохраняется и в ответе. У него есть свойства обоих представлений. Посмотрим, что у него общего. DistributionalОн имеет матрицу размера WxC, а затем сокращается до Wxd, где d - размер вектора вложения. Он использует размеры окна, чтобы определить контекст. Distributed: Плотные, низкоразмерные векторы. Он сохраняет скрытые особенности (семантические свойства) в этих измерениях.

Яжи

2

Ответ от Андрея Кутузова через гугл-группы был удовлетворительным

Я бы сказал, что алгоритмы word2vec основаны на обоих.

Когда люди говорят distributional representation, они обычно имеют в виду лингвистический аспект: значение - это контекст, знайте слово по его компании и другие известные цитаты.

Но когда люди говорят distributed representation, это в основном не имеет ничего общего с лингвистикой. Это больше о аспекте информатики. Если я правильно понимаю Миколова и других, слово distributedв их статьях означает, что каждый отдельный компонент векторного представления не имеет собственного значения. Интерпретируемые функции (например, контексты слов в случае word2vec) скрыты и находятся distributedсреди непонятных векторных компонентов: каждый компонент отвечает за несколько интерпретируемых функций, а каждая интерпретируемая функция привязана к нескольким компонентам.

Таким образом, word2vec (и doc2vec) технически использует распределенные представления как способ представления лексической семантики. И в то же время он концептуально основан на гипотезе распределения: он работает только потому, что гипотеза распределения верна (значения слов действительно коррелируют с их типичными контекстами).

Но конечно часто термины distributedи distributionalиспользуются взаимозаменяемо, увеличивая недопонимание :)

yazhi
источник

Являются ли Word2Vec и Doc2Vec распределенным представлением или распределенным представлением?

Ответы: