Я понимаю, как artificial neural network (ANN)можно обучаться контролируемым образом с использованием обратного распространения для улучшения подгонки путем уменьшения ошибки в прогнозах. Я слышал, что ANN можно использовать для обучения без учителя, но как это можно сделать без какой-либо функции затрат, которая бы направляла этапы оптимизации? С помощью k-средних или EM-алгоритма есть функция, которую каждая итерация стремится увеличить.
- Как мы можем выполнить кластеризацию с ANN и какой механизм он использует для группировки точек данных в одной местности?
(и какие дополнительные возможности принесены с добавлением к нему большего количества слоев?)
Ответы:
Нейронные сети широко используются в обучении без надзора, чтобы лучше понять представления входных данных. Например, учитывая набор текстовых документов, NN может выучить отображение из документа в вектор с реальной стоимостью таким образом, чтобы результирующие векторы были одинаковыми для документов с аналогичным содержанием, то есть с сохранением расстояния. Это может быть достигнуто с использованием, например, авто-кодировщиков - модели, которая обучается восстанавливать исходный вектор из меньшего представления (активации скрытого слоя) с ошибкой восстановления (расстоянием от функции ID) в качестве функции стоимости. Этот процесс не дает вам кластеров, но он создает значимые представления, которые можно использовать для кластеризации. Например, вы можете запустить алгоритм кластеризации для активаций скрытого слоя.
Кластеризация. Существует несколько различных архитектур NN, специально разработанных для кластеризации. Наиболее широко известны, вероятно, самоорганизующиеся карты. SOM - это NN, у которого есть набор нейронов, соединенных для формирования топологической сетки (обычно прямоугольной). Когда какой-либо шаблон представлен в СДЛ, нейрон с ближайшим вектором весов считается победителем, и его веса адаптируются к шаблону, а также весам его окрестности. Таким образом, SOM естественным образом находит кластеры данных. Несколько похожий алгоритм - это выращивание нейронного газа (он не ограничен заранее определенным количеством нейронов).
Другой подход - это адаптивная теория резонанса, где у нас есть два уровня: «поле сравнения» и «поле распознавания». Поле распознавания также определяет лучшее совпадение (нейрон) с вектором, перенесенным из поля сравнения, а также имеет латеральные ингибирующие связи. Детали реализации и точные уравнения можно легко найти, прибегая к помощи названий этих моделей, поэтому я не буду их здесь приводить.
источник
Вы хотите посмотреть на самоорганизующиеся карты . Кохонен (который их придумал) написал о них книгу . Для этого есть пакеты в R ( som , kohonen ), и есть реализации на других языках, таких как MATLAB .
источник