Связь между скоростью обучения и количеством скрытых слоев?

10

Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения.

Если это правильно, то почему?

neural-networks deep-learning hyperparameter rule-of-thumb user_1177868
источник
1
соответствующее обсуждение для стимулирующей модели. stats.stackexchange.com/questions/168666/…
Du
Обсуждение дает полезную информацию, но не отвечает на мой вопрос. Не могли бы вы прокомментировать это?
user_1177868
1
вы, поэтому я поставил это в комментариях, но не отвечаю, и поставил ваши вопросы на голосование.
Haitao Du

Ответы:

4

На этот вопрос ответили здесь:

При использовании нейронных сетей скорость обучения должна быть пропорциональна размерам скрытых слоев? Должны ли они влиять друг на друга?

Короткий ответ - да, есть связь. Хотя отношение не так тривиально, все, что я могу вам сказать, это то, что вы видите, потому что поверхность оптимизации становится более сложной по мере увеличения числа скрытых слоев, поэтому меньшие скорости обучения, как правило, лучше. Хотя застревание в локальных минимумах возможно при низкой скорости обучения, оно намного лучше, чем при сложной поверхности и высокой скорости обучения.

ЗНАЧЕНИЕ NULL
источник