Извлечение ключевого слова / фразы из текста с использованием библиотек Deep Learning

Возможно, это слишком широко, но я ищу ссылки на то, как использовать глубокое обучение в задаче обобщения текста.

Я уже реализовал суммирование текста, используя стандартные частотно-частотные подходы и ранжирование предложений, но я хотел бы изучить возможность использования методов глубокого обучения для этой задачи. Я также рассмотрел некоторые реализации, представленные на wildml.com с использованием Convolutional Neural Networks (CNN) для анализа настроений; Я хотел бы знать, как можно использовать библиотеки, такие как TensorFlow или Theano, для обобщения текста и извлечения ключевых слов. Прошло около недели с тех пор, как я начал экспериментировать с нейронными сетями, и я очень рад видеть, как производительность этих библиотек сравнивается с моими предыдущими подходами к этой проблеме.

Я особенно ищу некоторые интересные статьи и проекты GitHub, связанные с обобщением текста с использованием этих структур. Может ли кто-нибудь предоставить мне некоторые ссылки?

Google Research Blog должен быть полезным в контексте TensorFlow .

В вышеприведенной статье есть ссылка на аннотированный английский набор данных Gigaword, который обычно используется для обобщения текста.

Статья Sutskever и соавторов 2014 года под названием « Последовательное обучение в последовательных сетях с нейронными сетями» может стать значимым началом вашего путешествия, поскольку выясняется, что для более коротких текстов обобщение можно изучать сквозным методом глубокого обучения.

И наконец, вот отличный репозиторий Github, демонстрирующий суммирование текста при использовании TensorFlow.

Это открытая область исследований, и она, безусловно, зависит от того, как вы решите проблему. Если вы говорите о суммировании нескольких документов, тогда проблема немного отличается от того, как если бы вы говорили о суммировании одного документа.

Стоит кратко рассмотреть литературу.

Ссылка, предоставленная u / Society of Data Scientists , великолепна и полезна для задачи абстрактного суммирования в одном документе. Там также проделана работа по извлечению резюме, которое определяет важные предложения для извлечения.

Rush et. У Алла есть хорошая статья об абстрактном обобщении с «Внимание» , которая основана на глубоком обучении.

Для обобщающего суммирования вы можете использовать LSTM для построения вашего классификатора и использовать стандартные библиотеки TensorFlow / Torch, но в настоящее время нет публикаций по использованию глубокого обучения для этого подхода.

Вот некоторые дополнительные репозитории GitHub:

• The Original Rush et. репо
• Реализация TensorFlow того же документа

Похоже, это более обобщающее обобщение, если вы ищете ключевые слова. Вот несколько статей, которые, вероятно, имеют реализации:

Нейронное обобщение путем извлечения предложений и слов

Добывающее суммирование с использованием глубокого обучения

Полууправляемые сверточные нейронные сети для категоризации текста с помощью встраивания областей

Кроме того, у SpaCy (не аффилированного) есть хороший блог по общей архитектуре задач извлечения текста.