Поэтому, рассматривая нейронные сети с радиальной базисной функцией, я заметил, что люди рекомендуют использовать только 1 скрытый слой, тогда как в многослойных нейронных сетях персептрона больше слоев считается лучшим.
Учитывая, что сети RBF могут быть обучены с использованием версии обратного распространения, есть ли причины, по которым более глубокие сети RBF не будут работать, или что уровень RBF не может использоваться в качестве предпоследнего или первого уровня в сети с глубокой MLP? (Я думал о предпоследнем слое, чтобы его можно было обучить основным возможностям предыдущих уровней MLP)
machine-learning
neural-networks
rbf-network
user1646196
источник
источник
Ответы:
Основная проблема заключается в том, что RBFs являются a) слишком нелинейными, b) не выполняют уменьшение размеров.
из-за а) RBFs всегда обучались с помощью k-средних, а не градиентного спуска.
Я бы сказал, что основной успех в Deep NNs - это сети, где одной из ключевых частей является уменьшение размеров: хотя при работе с, скажем, 128x128x3 = 50000 входов, каждый нейрон имеет ограниченное восприимчивое поле, и в каждом слое гораздо меньше нейронов .В данном слое в MLP - каждый нейрон представляет особенность / измерение), поэтому вы постоянно уменьшаете размерность (переходя от слоя к слою).
Хотя можно сделать адаптивную ковариационную матрицу RBF и уменьшить размерность, это еще больше усложняет обучение.
источник