Онлайн против автономного обучения?

В чем разница между автономным и онлайн обучением ? Это просто вопрос обучения по всему набору данных (в автономном режиме) или обучения постепенно (по одному экземпляру за раз)? Какие примеры алгоритмов используются в обоих?

Онлайн обучение означает, что вы делаете это по мере поступления данных. Автономно означает, что у вас есть статический набор данных.

Итак, для онлайн-обучения у вас (как правило) больше данных, но у вас есть ограничения по времени. Еще одна проблема, которая может повлиять на онлайн-обучение, заключается в том, что ваши концепции со временем могут измениться.

Допустим, вы хотите создать классификатор для распознавания спама. Вы можете приобрести большой объем электронной почты, пометить его и обучить классификатору. Это было бы обучение в автономном режиме. Или вы можете взять всю электронную почту, поступающую в вашу систему, и постоянно обновлять свой классификатор (ярлыки могут быть немного сложными). Это будет онлайн обучение.

Термин «онлайн» перегружен, и поэтому вызывает путаницу в области машинного обучения.

Противоположностью «онлайн» является пакетное обучение. При пакетном обучении алгоритм обучения обновляет свои параметры после использования всей партии, тогда как при онлайн-обучении алгоритм обновляет свои параметры после обучения из 1 обучающего экземпляра. Мини-пакетное обучение является промежуточным пунктом между пакетным обучением с одной стороны и онлайн-обучением с другой.

Кроме того, «когда» данные поступают или могут ли они быть сохранены или нет, ортогональны онлайн или пакетному обучению.

Считается, что онлайн-обучение медленнее приближается к минимуму по сравнению с пакетным обучением. Однако в тех случаях, когда весь набор данных не помещается в памяти, использование онлайн-обучения является приемлемым компромиссом.

Онлайн обучение (также называемое инкрементным обучением ): мы рассматриваем отдельную презентацию примеров. В этом случае каждый пример используется последовательно, как предписано алгоритмом обучения, а затем отбрасывается. Изменения веса, сделанные на данном этапе, зависят конкретно только от (текущего) представляемого примера и, возможно, от текущего состояния модели. Это естественная процедура для изменяющихся во времени правил, когда примеры могут быть недоступны вообще.

Обучение в автономном режиме : изменения веса зависят от всего набора данных (обучения), определяющего глобальную функцию стоимости. Примеры используются многократно, пока не будет достигнута минимизация этой функции стоимости.