Можно ли использовать BERT для создания предложений?

Я новый ученик в НЛП. Я заинтересован в задаче генерации предложений. Насколько мне известно, одним из современных методов является CharRNN , который использует RNN для генерации последовательности слов.

Тем не менее, BERT вышел несколько недель назад и является очень мощным. Поэтому мне интересно, можно ли эту задачу также выполнить с помощью BERT? Я новичок в этой области, и спасибо за любые советы!

Для новичков НЕТ.

Генерация предложения требует выборки из языковой модели, которая дает распределение вероятности следующего слова с учетом предыдущих контекстов. Но BERT не может сделать это из-за его двунаправленной природы.

Для продвинутых исследователей, ДА.

Вы можете начать с предложения всех токенов [MASK] и генерировать слова одно за другим в произвольном порядке (вместо обычного разложения слева направо). Хотя качество генерации текста сложно контролировать.

Вот технический отчет, который имеет BERT, и о котором нужно говорить: BERT как марковская модель языка случайных полей , ее ошибки и исходный код .

В итоге:

• Если вы хотите провести некоторые исследования в области декодирования с помощью BERT, существует огромное пространство для изучения.
• Если вы хотите создавать качественные тексты, лично я рекомендую вам проверить GPT-2 .

этот эксперимент Стивена Мэйхью предполагает, что BERT паршив в последовательной генерации текста:

http://mayhewsw.github.io/2019/01/16/can-bert-generate-text/

although he had already eaten a large meal, he was still very hungry

Как и прежде, я замаскировал «голодных», чтобы увидеть, что предсказывает БЕРТ. Если бы он мог предсказать это правильно без какого-либо правильного контекста, мы могли бы быть в хорошей форме для поколения.

Это не удалось. Берт предсказал «много» как последнее слово. Возможно, это потому, что БЕРТ считает, что отсутствие точки означает, что предложение должно продолжаться. Может быть, это просто так, чтобы закончить предложения, это запутано. Я не уверен.

Можно утверждать, что мы должны продолжать предсказывать после «много». Может быть, это даст что-то значимое. На это я бы сказал: во-первых, это должно было быть мертвой раздачей, и любой человек предсказал бы «голодный». Во-вторых, я попробовал, и он продолжает предсказывать глупости. После «много» следующий токен - «,».

Таким образом, по крайней мере, используя эти тривиальные методы, BERT не может генерировать текст.

Нет. Формирование предложения напрямую связано с языковым моделированием (учитывая предыдущие слова в предложении, что является следующим словом). Из-за двунаправленности BERT BERT нельзя использовать в качестве языковой модели. Если его нельзя использовать в качестве языковой модели, я не вижу, как можно сгенерировать предложение, используя BERT.

Какие альтернативные варианты существуют для этого?

Нет. Формирование предложения напрямую связано с языковым моделированием (учитывая предыдущие слова в предложении, что является следующим словом). Из-за двунаправленности BERT BERT нельзя использовать в качестве языковой модели. Если его нельзя использовать в качестве языковой модели, я не вижу, как можно сгенерировать предложение, используя BERT.