Как использование эволюционных алгоритмов для проектирования и обучения искусственных нейронных сетей имеет преимущества по сравнению с использованием обычных алгоритмов обратного распространения?
9
Как использование эволюционных алгоритмов для проектирования и обучения искусственных нейронных сетей имеет преимущества по сравнению с использованием обычных алгоритмов обратного распространения?
В отличие от обратного распространения, эволюционные алгоритмы не требуют, чтобы целевая функция была дифференциальной по отношению к параметрам, которые вы хотите оптимизировать. В результате вы можете оптимизировать «больше вещей» в сети, например, функции активации или количество слоев, что было бы невозможно при стандартном обратном распространении.
Другое преимущество состоит в том, что, определяя функции мутации и кроссовера, вы можете влиять на то, как следует исследовать пространство поиска параметров.
В дополнение к ответу Франка, могут быть лучшие оптимумы (даже глобальные оптимумы), которые существуют в направлении, противоположном градиенту (который может быть в направлении некоторых локальных оптимумов). Эволюционные алгоритмы имеют возможности для поиска в окружающей области, в то время как обратное распространение всегда будет двигаться в направлении градиента. Без гарантии (из-за их случайности) эволюционные алгоритмы могут быть в состоянии найти решения, которые просто не могут дать обратное распространение.