Можно ли получить лучший ANN, удалив некоторые соединения?

Мне было интересно, могут ли при некоторых обстоятельствах ANN работать лучше, если вы удалите некоторые соединения на них, например:

Построение одной сети ANN путем параллельного подключения двух многослойных сетей ANN A и B (одинаковые входные и выходные узлы) с добавлением нескольких «коммуникационных» соединений между скрытыми слоями A и B?

Можно ли получить лучшие результаты обобщения?

Используется ли это как-то на практике, или всегда используются только многоуровневые полностью подключенные сети?

Да, это возможно. Некоторые люди рассмотрели эту проблему подробно. Вот старая статья о способе сделать это: Оптимальное повреждение мозга

Как правило, небольшие и / или разреженные сети обобщаются лучше. Вы можете позволить вашему алгоритму обучения отсеять ненужные соединения в сети фиксированного размера, применив некоторую форму снижения веса, или вы можете применить алгоритм, который направлен на оптимизацию самой архитектуры / топологии сети путем удаления ненужных входных данных, скрытых узлов или соединений.

Посмотрите на эти ссылки для идей и отправных точек для дальнейших исследований, или посмотрите на использование эволюционных алгоритмов для проектирования, сокращения и оптимизации архитектур.

1. Castellano, G., Fanelli, AM (2000) 'Выбор переменных с использованием моделей нейронных сетей', Нейрокомпьютинг (31)
2. Ji C., Psaltis D. (1997) «Сетевой синтез через управляемый данными рост и упадок», Neural Networks Vol. 10, № 6, с. 1133-1141
3. Нарасимха П.Л. и др. (2008) «Интегрированный метод выращивания и сокращения для обучения в сети с прямой связью», Нейрокомпьютинг (71), с. 2831-2847.
4. Шустер, А. (2008) «Надежные искусственные архитектуры нейронных сетей», Международный журнал вычислительного интеллекта (4: 2), с. 98-104

В большинстве случаев, если вы удалите ненужные соединения, вы получите лучшую сеть. Легко перетянуть (перегрузить) сеть - в этом случае она будет плохо работать с набором данных проверки.

Обрезка ненужных соединений, скорее всего, уменьшит вероятность перетренированности. Пожалуйста, смотрите: http://en.wikipedia.org/wiki/Overfitting .

Да, это возможно. Мы можем рассмотреть связь между вычислительными единицами, количеством скрытых слоев, объединений на скрытый слой и т. Д. В качестве гиперпараметров. Определить оптимальные значения этих параметров можно, проведя серию экспериментов.

Например:

Вы можете разделить ваш набор данных следующим образом: обучающий набор 60% данных, перекрестная проверка 20% данных, тестирование 20% данных,

Затем обучите свой NN, используя набор данных обучения и параметр настройки, используя набор данных перекрестной проверки.

Наконец, вы можете использовать свой набор данных тестирования для оценки производительности вашего NN.