В последнее время я пытался узнать больше об онлайн-обучении (это абсолютно увлекательно!), И одна тема, которую я так и не смог понять, - как думать о выборе моделей в офлайновом и онлайн-контекстах. В частности, предположим , что мы тренируем классификатор в автономном режиме, на основе некоторого фиксированного набора данных D . Скажем, мы оцениваем его рабочие характеристики с помощью перекрестной проверки и выбираем лучший классификатор таким образом.
Это то, о чем я думал: как же тогда применить приложение к онлайн-настройке? Можем ли мы предположить, что лучший S, найденный в автономном режиме, также будет работать как онлайн-классификатор? Имеет ли смысл собирать некоторые данные для обучения S , затем брать тот же классификатор S и «оперативно» использовать его в режиме онлайн с теми же параметрами, что и в D , или другой подход может быть лучше? Какие предостережения в этих случаях? Каковы основные результаты здесь? И так далее.
Во всяком случае, теперь, когда это там, я думаю, что я ищу некоторые ссылки или ресурсы, которые помогут мне (и, надеюсь, другим, которые думали об этой вещи!) Сделать переход от мышления исключительно в автономном режиме, и развить умственную структуру, чтобы думать о проблеме выбора модели и этих вопросах более согласованно в процессе моего чтения.
источник
Ответы:
Очевидно, что в контексте потоковой передачи вы не можете разделить ваши данные на наборы поездов и тестов для выполнения перекрестной проверки. Использование только метрик, рассчитанных на начальном наборе поездов, звучит еще хуже, поскольку вы предполагаете, что ваши данные изменятся, и ваша модель будет адаптироваться к изменениям - именно поэтому вы в первую очередь используете режим онлайн-обучения.
В конце вы как-то усредняете (обычно среднее арифметическое, но вы также можете использовать что-то вроде экспоненциального сглаживания) метрики ошибок, чтобы получить общую оценку точности.
В интерактивном сценарии это будет означать, что вы начнете с момента времени 1 и проведете тестирование на момент времени 2, затем повторно обучитесь на момент времени 2, чтобы провести тестирование на момент времени 3 и т. Д.
Обратите внимание, что такая методология перекрестной проверки позволяет вам учитывать меняющийся характер производительности ваших моделей. Очевидно, что поскольку ваша модель адаптируется к данным, и данные могут измениться, вам необходимо будет регулярно отслеживать показатели ошибок: в противном случае она не сильно отличается от использования наборов поездов и тестов фиксированного размера.
источник