Количество эпох в реализации Gensim Word2Vec

В реализации Word2Vec есть iterпараметрgensim

класс gensim.models.word2vec.Word2Vec (предложения = нет, размер = 100, альфа = 0,025, окно = 5, min_count = 5, max_vocab_size = нет, образец = 0, семя = 1, рабочие = 1, min_alpha = 0,0001, сг. = 1, hs = 1, отрицательный = 0, cbow_mean = 0, hashfxn =, iter = 1 , null_word = 0, trim_rule = нет, sorted_vocab = 1)

который определяет количество эпох, то есть:

iter = количество итераций (эпох) по корпусу.

Кто-нибудь знает, помогает ли это в улучшении модели по сравнению с корпусом?

Есть ли какая-либо причина, почему iterпо умолчанию установлено значение 1? Нет ли большого эффекта в увеличении нет. эпох?

Есть ли научная / эмпирическая оценка того, как установить нет. эпох?

В отличие от задачи классификации / регрессии, метод поиска по сетке на самом деле не сработает, поскольку векторы генерируются неконтролируемым образом, а целевая функция - просто с помощью иерархической софтмакс или отрицательной выборки.

Есть ли механизм ранней остановки, чтобы прервать нет? эпох когда векторы сходятся? И может ли иерархический софтмакс или отрицательная цель выборки сходиться?

Увеличение количества эпох обычно приносит пользу качеству представлений слов. В экспериментах, которые я выполнил, целью было использование встраивания слов в качестве функций для классификации текста, установив эпохи 15 вместо 5, что повысило производительность.

Я посмотрел здесь и обнаружил, что значение по умолчанию изменилось с 1 на 5. Видимо, авторы считают, что большее количество эпох улучшит результаты .

Пока не могу судить по опыту.

Я обучил свою модель w2v на google news 300 для эпох [2, 10, 100], и лучшая была на 10 эпохах. После всего этого ожидания я был шокирован тем, что 100 эпох были плохими.

epoch   wall                    
------ ------                    
2       56 s                    
10      4m 44s (284s)           
100     47m 27s (2847 s)    

Увеличение количества итэров (количества эпох) резко увеличивает время обучения. Word2Vec дает качественные результаты только в том случае, если вы загружаете огромное количество документов, поэтому циклическое повторение их даже дважды нецелесообразно, хотя на самом деле делает вложения в слова более точными.