В частности, я прошу ресурсы, чтобы узнать о системах машинного обучения, которые могут обновлять свои соответствующие сети убеждений (или эквивалент) во время работы. Я даже сталкивался с несколькими, хотя не смог их добавить в закладки.
Как вы можете себе представить, это довольно сложная тема для поиска в Интернете.
Ответы:
Большинство алгоритмов онлайн-обучения происходят по крайней мере от одного из этих родословных:
персептрон
Современными персептронами являются пассивно-агрессивный алгоритм , структурированный персептрон и их множество разновидностей.
Винодель
Вещество было переформулировано как методы экспоненциального градиента и может быть применено и к структурированным задачам . Существуют также разновидности, которые имеют непосредственное отношение к регуляризации L1 (чтобы гарантировать разреженность), такие как SMIDAS .
Стохастический градиентный спуск
Стохастический градиентный спуск - это когда вы применяете онлайн-оптимизацию к возможной пакетной проблеме. Состояние алгоритмов искусств является Леон Ботты в LaSVM , Pegasos , и многие алгоритмы нейронных сетей могут быть легко обучаемым в этой обстановке. Посмотрите учебник theano для многих примеров. Может быть, онлайн EM подходит здесь.
фильтрация частиц
Это также известно как умозаключение Рао-Блэквелла, и оно позволяет обновлять графическую / вероятностную модель по мере поступления большего количества данных. Некоторые хорошие примеры - это тематические модели в Интернете и учебник NIPS по SMC .
Есть также некоторые более широкие проблемы с онлайн-обучением, такие как онлайн-пакетное преобразование , бюджетные методы для онлайн-обучения с ядрами (как этот документ , этот документ и этот документ ), много разных вариантов границ обобщения, проблемы нехватки (а также бумага SMIDAS, которую я цитировал выше), хеширование для экономии памяти и многие другие вопросы.
источник
Avrim Blum как потрясающий обзорный документ, который я бы рекомендовал начать с: «Онлайн-алгоритмы в машинном обучении» http://www.cs.cmu.edu/~avrim/Papers/survey.ps
источник
Если вы ищете информацию о теории онлайн-обучения, книга Cesa-Bianchi и Lugosi является надежным справочником.
источник
Существует хороший учебник от ICML 2008 года Йорам Зингера и Шай Shalev Шварцом по теории и практике обучения в режиме онлайн.
источник
Машинное обучение - Материалы курса - Стэнфорд http://www.stanford.edu/class/cs229/materials.html
Видео-лекции по машинному обучению и искусственному интеллекту http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html
Гауссовские процессы для машинного обучения http://www.gaussianprocess.org/gpml/
источник