Может ли персептрон забыть?

Я хотел бы создать онлайн-систему машинного обучения, где пользователи могут постоянно добавлять классифицированные образцы и обновлять модель в режиме онлайн. Я хотел бы использовать персептрон или аналогичный алгоритм онлайн-обучения.

Но пользователи могут ошибаться и вставлять не относящиеся к делу примеры. В этом случае я хотел бы иметь возможность удалить конкретный пример без повторной тренировки персептрона на всем наборе примеров (который может быть очень большим).

Это возможно?

machine-learning online-algorithms Эрель Сегал-Халеви
источник

очень интересная идея Вы приложили усилия, чтобы оформить это?

Стрин

Учитывая особенности вашей модели персептрона и вашего классификатора, что произойдет, если вы повторно вставите пример с исправленной классификацией? Разве это не уменьшает вес неправильных нейронов внутреннего слоя и увеличивает вес правильных нейронов внутреннего слоя?

Блуждающая логика

Повторная вставка образца, очевидно, может помочь в некотором роде, однако я не уверен, что доказательства правильности и сходимости персептрона будут иметь место в этом случае (т.е. я не уверен, что результаты будут идентичны ситуации, когда ошибочный образец имеет не был вставлен в первую очередь).

Эрель Сегал-Халеви

Как наивное решение, вы можете вести учет весов персептрона перед добавлением каждого нового образца. Затем, когда вы хотите исключить образец, (пере) установите веса персептрона на их значения до того, как был добавлен «плохой» пример, и перенастройте перцептрон со всеми действительными примерами, добавленными после «плохого». Это потребовало бы некоторого переобучения, но не всего набора примеров. Конечно, вам также придется вести записи примеров и их веса.

rphv

Ответы:

Как я понимаю , изменение перцептрона без переподготовки невозможно. Корректировки веса относятся не только к этому конкретному примеру, но также и к другим тренировочным примерам, которые были ранее. Выявление некорректно классифицированного экземпляра и удаление его из тестового набора перед переподготовкой модели может показаться наиболее эффективным способом корректировки весов.

Я думаю, что стоит отметить, что по сравнению с другими алгоритмами машинного обучения, персептроны относительно устойчивы к шуму и неправильно классифицированы в обучающем наборе . Если вы сталкиваетесь с большим количеством ошибочно классифицированных экземпляров, было бы более разумно иметь лучшую проверку в тот момент, когда вы принимаете данные до обучения, чем придумывать способ исправить ошибочно классифицированные экземпляры после обучения персептрона. Если это невозможно, и вы можете идентифицировать неправильно классифицированные экземпляры как таковые, то удаление их и переподготовка могут показаться единственным способом эффективного устранения влияния неправильно классифицированных экземпляров.

Ричард Д
источник