Выбор модели в автономном режиме и онлайн-обучения

11

В последнее время я пытался узнать больше об онлайн-обучении (это абсолютно увлекательно!), И одна тема, которую я так и не смог понять, - как думать о выборе моделей в офлайновом и онлайн-контекстах. В частности, предположим , что мы тренируем классификатор в автономном режиме, на основе некоторого фиксированного набора данных D . Скажем, мы оцениваем его рабочие характеристики с помощью перекрестной проверки и выбираем лучший классификатор таким образом.SD

Это то, о чем я думал: как же тогда применить приложение к онлайн-настройке? Можем ли мы предположить, что лучший S, найденный в автономном режиме, также будет работать как онлайн-классификатор? Имеет ли смысл собирать некоторые данные для обучения S , затем брать тот же классификатор S и «оперативно» использовать его в режиме онлайн с теми же параметрами, что и в D , или другой подход может быть лучше? Какие предостережения в этих случаях? Каковы основные результаты здесь? И так далее.SSSSD

Во всяком случае, теперь, когда это там, я думаю, что я ищу некоторые ссылки или ресурсы, которые помогут мне (и, надеюсь, другим, которые думали об этой вещи!) Сделать переход от мышления исключительно в автономном режиме, и развить умственную структуру, чтобы думать о проблеме выбора модели и этих вопросах более согласованно в процессе моего чтения.

слово из четырех букв
источник
Были ли у вас какие-либо полезные предложения или у вас есть какие-либо предложения, чтобы дать сейчас? Благодаря!
user1953384
Я предлагаю вам взглянуть на статью Франческо " arxiv.org/pdf/1406.3816v1.pdf ", в которой он совместно делает выбор модели и оптимизацию за один раз.
Чандреш
Если вы можете обойти платную систему , это может быть очень хорошей ссылкой: cognet.mit.edu/journal/10.1162/089976601750265045 ?
Discipulus

Ответы:

1

Очевидно, что в контексте потоковой передачи вы не можете разделить ваши данные на наборы поездов и тестов для выполнения перекрестной проверки. Использование только метрик, рассчитанных на начальном наборе поездов, звучит еще хуже, поскольку вы предполагаете, что ваши данные изменятся, и ваша модель будет адаптироваться к изменениям - именно поэтому вы в первую очередь используете режим онлайн-обучения.

kk+1

В конце вы как-то усредняете (обычно среднее арифметическое, но вы также можете использовать что-то вроде экспоненциального сглаживания) метрики ошибок, чтобы получить общую оценку точности.

введите описание изображения здесь

В интерактивном сценарии это будет означать, что вы начнете с момента времени 1 и проведете тестирование на момент времени 2, затем повторно обучитесь на момент времени 2, чтобы провести тестирование на момент времени 3 и т. Д.

Обратите внимание, что такая методология перекрестной проверки позволяет вам учитывать меняющийся характер производительности ваших моделей. Очевидно, что поскольку ваша модель адаптируется к данным, и данные могут измениться, вам необходимо будет регулярно отслеживать показатели ошибок: в противном случае она не сильно отличается от использования наборов поездов и тестов фиксированного размера.

Тим
источник