Как работает импульс импульса для алгоритма обратного распространения?

При обновлении весов нейронной сети с использованием алгоритма обратного распространения с импульсом, должна ли скорость обучения применяться и к члену импульса?

Большая часть информации, которую я мог найти об использовании импульса, имеет уравнения, выглядящие примерно так:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

где - скорость обучения, а μ - член импульса.$\alpha$$\mu$

если член больше, чем член α, то на следующей итерации Δ $\mu$$\alpha$$\Delta W$ из предыдущей итерации будет иметь большее влияние на вес, чем текущая.

Это цель импульса? или уравнение должно выглядеть больше так?

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

то есть. масштабировать все по скорости обучения?

Использование обратного распространения с импульсом в сети с различных весов W к я -й коррекции для веса W к задаются$n$$W_k$$i$$W_k$

где∂$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ - изменение потерь относительноWk.$\frac{\partial E}{\partial W_k}$$W_k$

Введение скорости импульса позволяет ослаблять колебания при градиентном спуске. Геометрическая идея, лежащая в основе этой идеи, вероятно, может быть лучше всего понята с точки зрения анализа собственного пространства в линейном случае. Если соотношение между самым низким и самым большим собственным значением велико, то выполнение градиентного спуска происходит медленно, даже если скорость обучения велика из-за кондиционирования матрицы. Импульс вводит некоторую балансировку в обновлении между собственными векторами, связанными с более низкими и большими собственными значениями.

Для более подробной информации я обращаюсь к

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf