Статистическая классификация текста

Я программист без статистического образования, и в настоящее время я смотрю на различные методы классификации для большого количества различных документов, которые я хочу классифицировать по заранее определенным категориям. Я читал о KNN, SVM и NN. Однако у меня есть некоторые проблемы с началом работы. Какие ресурсы вы рекомендуете? Я достаточно хорошо знаю одно переменное и многопараметрическое исчисление, поэтому моя математика должна быть достаточно сильной. У меня также есть книга Бишопа по нейронным сетям, но в качестве введения она оказалась немного плотной.

Я рекомендую эти книги - они также высоко ценятся на Amazon:

"Text Mining" Вайса

«Программирование текстового майнинга», Кончади

Для программного обеспечения я рекомендую RapidMiner (с текстовым плагином), бесплатный и с открытым исходным кодом.

Это мой "процесс добычи текста":

• собирать документы (обычно это веб-сканирование)
  • [образец, если слишком большой]
  • отметка времени
  • убрать разметку
• tokenize: разбить на символы, слова, n-граммы или скользящие окна
• stemming (он же лемматизация)
  • [включить синонимы]
  • см. местоимения алгоритма портера или снежинки и статьи, как правило, плохие предикторы
• удалить стоп-слова
• Векторизация
  • двоичный (появляется или нет)
  • количество слов
  • Относительная частота: TF-IDF
  • получение информации, площадь чи
  • [иметь минимальное значение для включения]
• взвешивание
  • вес слова вверху документа выше?

Затем вы можете начать работу по их классификации. kNN, SVM или наивный байесовский в зависимости от ситуации.

Вы можете посмотреть мою серию видео о майнинге текста здесь

Отличным вводным текстом, охватывающим упомянутые вами темы, является « Введение в поиск информации» , которое доступно в Интернете в виде полного текста бесплатно.

Нейронная сеть может быть медленной для большого количества документов (также это теперь в значительной степени устарело).
И вы также можете проверить случайный лес среди классификаторов; это довольно быстро, хорошо масштабируется и не требует сложной настройки.

Если вы работаете со стороны программирования, одним из вариантов является использование Natural Language Toolkit (NLTK) для Python. Есть книга O'Reilly, доступная бесплатно , которая может быть менее плотным и более практичным введением в построение классификаторов для документов среди прочего.

Если вы заинтересованы в расширении статистических данных, книга Роджера Леви « Вероятностные модели в изучении языка» может быть неплохой для прочтения. Это написано для аспирантов / студентов, начинающих со статистических методов НЛП.

Во-первых, я могу порекомендовать вам книгу « Основы статистической обработки естественного языка » Мэннинга и Шютце.

Методы, которые я бы использовал, - это частотные распределения слов и модели языка ngram. Первый работает очень хорошо, когда вы хотите классифицировать по теме, а ваши темы являются конкретными и экспертными (с ключевыми словами). Ngram моделирование - лучший способ для классификации стилей письма и т. Д.

Наивный байесовский анализ обычно является отправной точкой для классификации текста, вот статья доктора Доббса о том, как ее реализовать. Это также часто является конечной точкой для классификации текста, потому что она настолько эффективна и хорошо распараллеливается, что используют SpamAssassin и POPFile.