Оптимальное количество слоев в нейронной сети?

13

Как определить оптимальное количество слоев для создания при реализации нейронной сети (прямая связь, обратное распространение или RNN)?

neural-networks hidden-layers v01d
источник

Ответы:

8

В Pruningнейронных сетях есть метод , который используется только для этой же цели.

Обрезка производится по количеству скрытых слоев. Процесс очень похож на процесс обрезки деревьев решений. Процесс обрезки выполняется следующим образом:

  • Обучите большую, плотно связанную сеть со стандартным алгоритмом обучения
  • Изучите обученную сеть, чтобы оценить относительную важность весов
  • Удалить наименее важный вес
  • переобучить обрезанную сеть
  • Повторите шаги 2-4, пока не будете выполнены

Тем не менее, существует несколько оптимизированных методов обрезки нейронных сетей, и это также очень активная область исследований .

Dawny33
источник
Симметричный подход - это общий «поиск по сетке», применяемый к архитектуре сети. Начните с малого (так быстро) и автоматически попробуйте большие архитектуры. Все это только грубая сила, хотя ...
Эрик Платон
@EricPlaton +1 для поиска по сетке. Очень удобно при гипертонировании ML-алгоритмов. Но разве это не вычислительно очень интенсивно?
Dawny33
1
Да, это дорого. Тем не менее, когда мы можем начать с малого, первые этапы могут пройти довольно быстро и дать лучшее представление о том, к чему стремиться.
Эрик Платон
@EricPlaton «Grid Search» заслуживает отдельного ответа для своего собственного :)
Dawny33
Я думал об этом, но тогда было бы два альтернативных и, возможно, «одинаково правильных» ответа ... Я подумал, что для читателя лучше всего составить ответ как один.
Эрик Платон
0

Вы можете взглянуть на байесовскую оптимизацию гиперпараметров как на общий метод оптимизации потерь (или чего-либо еще) в зависимости от гиперпараметров. Но обратите внимание, что в целом, чем глубже ваша сеть, тем лучше, поэтому оптимизация потерь в зависимости от количества слоев не очень интересная вещь.

Поиск по сетке и немного здравого смысла (как выяснилось, увидев много примеров) должны быть вашей лучшей ставкой.

кс сайз 'кс сайз'
источник