GAN (генеративные состязательные сети) также возможны для текста?

Являются ли ГАН - порождающие состязательные сети - хорошими только для изображений или могут использоваться также и для текста?

Мол, обучите сеть генерировать значимые тексты из резюме.

UPD - цитаты изобретателя GAN Яна Гудфеллоу.

GAN не были применены к NLP, потому что GAN определены только для реальных данных. ( 2016 ) источник

Это не принципиально ошибочная идея. Должно быть возможно сделать хотя бы один из следующих ... (2017) источник

Да, GAN можно использовать для текста. Однако существует проблема в сочетании того, как работают GAN и как обычно текст генерируется нейронными сетями:

• ГАН работают, распространяя градиенты через состав Генератора и Дискриминатора.
• Обычно текст генерируется при наличии окончательного слоя softmax над пространством токенов, то есть выход сети, как правило, представляет собой вероятности генерации каждого токена (то есть дискретной стохастической единицы).

Эти две вещи сами по себе плохо работают, потому что вы не можете распространять градиенты через дискретные стохастические единицы. Есть 2 основных подходы к решению этого: REINFORCE алгоритм и перепараметризация Gumbel-Софтмакс (также известный как бетон распределения ). Примите во внимание, что REINFORCE, как известно, имеет высокую дисперсию, поэтому вам нужны большие объемы данных для получения хороших оценок градиента.

В качестве примера REINFORCE для текстовых GAN вы можете проверить статью SeqGAN . Пример Gumbel-Softmax вы можете проверить в этой статье .

Другой совершенно другой вариант - не иметь дискретную стохастическую единицу в качестве выходного сигнала генератора (например, генерировать токены детерминистически во встроенном пространстве), что устраняет первоначальную проблему обратного распространения через них.

Есть еще более конкретные исследования на эту тему:

Обученный генератор способен генерировать предложения с определенным уровнем грамматики и логики.

Сюэронг Сяо, «Генерация текста с использованием генеративного состязательного обучения»

Этот вопрос относится к этому: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Да, теперь GAN можно использовать и для дискретных данных. Первый случай этой интуиции появился, когда появились Вассерштейнские ГАН (WGAN). Ян Гудфеллоу (Ian Goodfellow) рассказал о подходе к усиленному обучению к этой проблеме на конференции NIPS 2016. Также в этой статье рассматриваются достижения в GAN в отношении дискретных данных.