Каковы хорошие рекомендации по пониманию онлайн-обучения?

10

В частности, я прошу ресурсы, чтобы узнать о системах машинного обучения, которые могут обновлять свои соответствующие сети убеждений (или эквивалент) во время работы. Я даже сталкивался с несколькими, хотя не смог их добавить в закладки.

Как вы можете себе представить, это довольно сложная тема для поиска в Интернете.

jtolds
источник
Когда пользователи просят внести свой вклад в список ответов, вопрос должен быть помечен сообществом вики . Я преобразовал этот вопрос.
Роберт Картейно

Ответы:

11

Большинство алгоритмов онлайн-обучения происходят по крайней мере от одного из этих родословных:

  • персептрон

    Современными персептронами являются пассивно-агрессивный алгоритм , структурированный персептрон и их множество разновидностей.

  • Винодель

    Вещество было переформулировано как методы экспоненциального градиента и может быть применено и к структурированным задачам . Существуют также разновидности, которые имеют непосредственное отношение к регуляризации L1 (чтобы гарантировать разреженность), такие как SMIDAS .

  • Стохастический градиентный спуск

    Стохастический градиентный спуск - это когда вы применяете онлайн-оптимизацию к возможной пакетной проблеме. Состояние алгоритмов искусств является Леон Ботты в LaSVM , Pegasos , и многие алгоритмы нейронных сетей могут быть легко обучаемым в этой обстановке. Посмотрите учебник theano для многих примеров. Может быть, онлайн EM подходит здесь.

  • фильтрация частиц

    Это также известно как умозаключение Рао-Блэквелла, и оно позволяет обновлять графическую / вероятностную модель по мере поступления большего количества данных. Некоторые хорошие примеры - это тематические модели в Интернете и учебник NIPS по SMC .

Есть также некоторые более широкие проблемы с онлайн-обучением, такие как онлайн-пакетное преобразование , бюджетные методы для онлайн-обучения с ядрами (как этот документ , этот документ и этот документ ), много разных вариантов границ обобщения, проблемы нехватки (а также бумага SMIDAS, которую я цитировал выше), хеширование для экономии памяти и многие другие вопросы.

Александр Пассос
источник
Очень информативный ответ!
Тайфун Pay
4

Если вы ищете информацию о теории онлайн-обучения, книга Cesa-Bianchi и Lugosi является надежным справочником.

Суреш Венкат
источник
Я посмотрю на это, спасибо. На самом деле это было одно из двух предложений, которые предоставила Википедия ( en.wikipedia.org/wiki/Online_machine_learning могла бы помочь)
jtolds
Еще один полезный источник - серия сообщений Джона Лэнгфорда: hunch.net/?cat=7
Суреш Венкат,
4

Существует хороший учебник от ICML 2008 года Йорам Зингера и Шай Shalev Шварцом по теории и практике обучения в режиме онлайн.

Лев Рейзин
источник
1

Машинное обучение - Материалы курса - Стэнфорд http://www.stanford.edu/class/cs229/materials.html

Видео-лекции по машинному обучению и искусственному интеллекту http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Гауссовские процессы для машинного обучения http://www.gaussianprocess.org/gpml/

Пауло Коги - Восстановить Монику
источник
1
Это не говорит конкретно об онлайн-обучении. В книге по гауссовским процессам едва ли упоминаются онлайн-приближения к гауссовским процессам.
Александр Пассос