Обучение под наблюдением, активное обучение и глубокое обучение для классификации

19

Окончательное редактирование со всеми обновленными ресурсами:

Для проекта я применяю алгоритмы машинного обучения для классификации.

Задача: довольно ограниченные помеченные данные и гораздо больше непомеченных данных.

Цели:

  1. Применить классификацию под наблюдением
  2. Применять как-то полу-контролируемый процесс маркировки (известный как активное обучение)

Я нашел много информации из исследовательских работ, таких как применение EM, Transductive SVM или S3VM (Semi Supervised SVM), или как-то с использованием LDA и т. Д. Даже по этой теме мало книг.

Вопрос: Где находятся реализации и практические источники?

Окончательное обновление (на основе справок, предоставленных mpiktas, bayer и Dikran Marsupial)

Обучение под наблюдением:

Активное изучение:

  • Dualist : реализация активного обучения с исходным кодом по классификации текста
  • Эта веб-страница служит прекрасным обзором активного обучения.
  • Экспериментальная Конструкторская мастерская: здесь .

Глубокое обучение:

machine-learning classification software svm text-mining расслаиваться
источник
Есть R пакет RTextTools . Если я не ошибаюсь, он реализует несколько методов, которые вы упомянули.
mpiktas
Привет mpiktas, спасибо за вашу помощь. Это интересный инструментарий. Тем не менее, похоже, что речь идет только о контролируемом обучении, так как я читал: «TextTools - это бесплатный пакет машинного обучения с открытым исходным кодом для автоматической классификации текста, который облегчает как начинающим, так и опытным пользователям начало работы с контролируемым обучением. девять алгоритмов классификации ансамблей (svm, slda, бустинг, пакетирование, случайные леса, glmnet, деревья решений, нейронные сети, максимальная энтропия) "
Flake
Хорошо, вот еще одна попытка: Weka . Авторы написали книгу, и в ее содержании упоминается обучение под наблюдением. Я искренне надеюсь, что глава не заканчивается на "... к сожалению, ни один из этих алгоритмов не реализован в Weka" :)
mpiktas
Драт, я получил старую версию книги! Большое спасибо за указание на этот источник!
Flake

Ответы:

8

Кажется, что глубокое обучение может быть очень интересным для вас. Это очень недавняя область моделей глубокого коннекционизма, которые проходят предварительную подготовку без присмотра, а затем настраиваются под наблюдением. Точная настройка требует гораздо меньшего количества образцов, чем предварительная подготовка.

Чтобы намочить язык, я рекомендую [Семантиг Хашинг Салахутдинов, Хинтон . Посмотрите на коды, которые он находит для различных документов корпуса Reuters: (без присмотра!)

введите описание изображения здесь

Если вам нужен какой-то реализованный код, посмотрите deeplearning.net . Я не верю, что есть нестандартные решения.

bayerj
источник
Это довольно интересная и новая информация для меня. Конечно, готовые реализации были бы лучше, но это действительно помогает мне узнать что-то ближе к тому, что я хочу. Благодарю.
Flake
5

Некоторое время назад Изабель Гийон (и ее коллеги) организовали соревнование по активному обучению, материалы которого опубликованы здесь (открытый доступ). Преимущество этого состоит в том, что он достаточно практичен, и вы можете напрямую сравнивать характеристики различных подходов в соответствии с непредвзятым (в разговорном смысле) протоколом (случайный выбор шаблонов на удивление трудно преодолеть).

Дикран Сумчатый
источник