Используйте liblinear на больших данных для семантического анализа

Я использую Libsvm для обучения данных и прогнозирования классификации по проблеме семантического анализа . Но он имеет производительность вопрос о крупномасштабных данных, поскольку касается семантического анализа п-размерности задачи.

В прошлом году был выпущен Liblinear , и он может решить проблемы с производительностью. Но это стоило слишком много памяти . Является ли MapReduce единственным способом решения проблемы семантического анализа больших данных? Или есть какие-то другие методы, которые могут улучшить узкое место в памяти на Liblinear ?

Обратите внимание, что существует ранняя версия LIBLINEAR, портированная на Apache Spark . Смотрите комментарии к списку рассылки для некоторых ранних деталей и сайт проекта .

Вы можете проверить ваубал ваббит . Он довольно популярен для крупномасштабного обучения и включает в себя параллельные положения.

С их сайта:

VW - это сущность скорости в машинном обучении, способная легко извлекать уроки из терафеатурных наборов данных. Благодаря параллельному обучению он может превысить пропускную способность любого сетевого интерфейса одной машины при линейном обучении, что является первым среди алгоритмов обучения.