Почему нейронные сети работают лучше с ограничениями на их топологию?

Полностью связанные (по крайней мере слой за слоем с более чем 2 скрытыми слоями) сети Backprop являются универсальными учащимися. К сожалению, они часто не спешат учиться и имеют тенденцию переусердствовать или имеют неудобные обобщения.

Из дурачения с этими сетями я заметил, что обрезка некоторых ребер (так что их вес равен нулю и их невозможно изменить) приводит к тому, что сети учатся быстрее и лучше обобщаются. Есть причина для этого? Это только из-за уменьшения размерности пространства поиска весов, или есть более тонкая причина?

Кроме того, является ли лучшее обобщение артефактом «естественных» проблем, на которые я смотрю?

Меньшее количество узлов / ребер (или ребер с фиксированными весами) означает, что имеется меньше параметров, значения которых необходимо найти, и это, как правило, сокращает время обучения. Кроме того, когда параметров меньше, пространство, которое может быть выражено нейронной сетью, имеет меньше измерений, поэтому нейронная сеть может выражать только более общие модели. Таким образом, она менее способна переопределять данные, и, следовательно, модели будут казаться более общими.

Сокращая края, вы сократили пространство поиска для алгоритма обучения, который сразу же окупит производительность. Вы также ввели ограничения на функции, которые может моделировать сеть. Ограничения могут заставить вашу модель найти более общее решение, так как более точное недоступно. Обычный метод обучения нейронных сетей - это метод градиентного спуска. Еще одним следствием сокращения может быть то, что вы удалили некоторые локальные минимумы в ландшафте параметров, что снова позволяет алгоритму обучения найти лучшее решение.

Я не удивлюсь, если ваше лучшее обобщение связано с проблемами, на которые вы смотрите. Я пользовался успехом в нейронных сетях, где базовая модель имеет непрерывную структуру, в то время как в случаях, когда есть разрывы, вещи не работали так хорошо. Помните также, что производительность нейронной сети часто тесно связана с тем, как вы структурируете ввод и вывод.