Обучение сверточной нейронной сети

11

В настоящее время я работаю над программным обеспечением для распознавания лиц, которое использует нейронные сети свертки для распознавания лиц. Основываясь на своих результатах, я понял, что сверточная нейронная сеть имеет общие веса, чтобы сэкономить время во время обучения. Но как адаптировать обратное распространение, чтобы его можно было использовать в сверточной нейронной сети. В обратном распространении используется формула, подобная этой, для тренировки весов.

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

Однако, поскольку в сверточных нейронных сетях веса являются общими, каждый вес используется с несколькими нейронами, так как мне решить, какой из Output of InputNeuronних использовать?

Другими словами, поскольку весовые коэффициенты являются общими, как мне решить, на сколько изменить весовые коэффициенты?

diwgan32
источник

Ответы:

13

Сначала вы должны рассчитать все ваши обновления, как если бы пользователи не поделились, а просто сохранить их, но пока что не обновлять.

wkIk={(i,j):wi,j=wk}Δwi,j=ηJwi,jηJwi,j

wi,j=wi,j+Δwi,j.
Δwk=(i,j)IkΔwi,j
wk=wk+Δwk.
альт
источник
1
У вас есть ссылки на это? Для дальнейшего чтения
Джон