Что такое «бэкпроп»?

Ответы:

13

«Backprop» - это то же самое, что и «backpropagation»: это просто более короткий способ сказать это. Это иногда сокращается как "BP".

Франк Дернонкур
источник
7

«Backprop» - это сокращение от «обратное распространение ошибки» во избежание путаницы при использовании термина обратного распространения .

По существу обратное распространение относится к способу вычисления градиента функции ошибок по случаю относительно весов для сети Werbos с прямой связью . И backprop относится к методу обучения, который использует обратное распространение для вычисления градиента.

Таким образом, мы можем сказать, что сеть backprop - это сеть прямой связи, обученная backpropagation .

Термин «стандартный backprop» является эвфемизмом для обобщенного правила дельты, которое является наиболее широко используемым методом контролируемого обучения.

Источник: Что такое бэкпроп? в FAQ группы новостей Usenet comp.ai.neural-сети

Ссылки:

  • Werbos, PJ (1974). За пределами регрессии: новые инструменты прогнозирования и анализа в поведенческих науках. Докторская диссертация, Гарвардский университет.
  • Werbos, PJ (1994). Корни обратного распространения: от упорядоченных производных к нейронным сетям и политическому прогнозированию, Wiley Interscience.
  • Берцекас, Д.П. (1995), нелинейное программирование, Белмонт, Массачусетс: Athena Scientific, ISBN 1-886529-14-0.
  • Берцекас, Д.П. и Цициклис, JN (1996), Нейродинамическое программирование, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Поляк Б.Т. (1964). Некоторые методы ускорения сходимости итерационных методов. З. Вычисл. Мат. я в. Физ., 4, 1-17.
  • Поляк, BT (1987), Введение в оптимизацию, Нью-Йорк: Программное обеспечение для оптимизации, Inc.
  • Рид, Р.Д. и Маркс, Р.Дж., II (1999), Нейронное кузнечное дело: контролируемое обучение в искусственных нейронных сетях с прямой связью, Кембридж, Массачусетс: MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE, and Williams, RJ (1986), "Изучение внутренних представлений путем распространения ошибок", в Rumelhart, DE и McClelland, JL, eds. (1986), Параллельная распределенная обработка: исследования микроструктуры познания, том 1, 318-362, Кембридж, Массачусетс: MIT Press.
  • Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Включает Гарвардского доктора философии Вербоса 1974 года. тезис "За пределами регрессии".
kenorb
источник
2

Да, как правильно сказал Франк, «backprop» означает обратное распространение, которое часто используется в области нейронных сетей для оптимизации ошибок.

Для подробного объяснения я хотел бы указать это руководство по концепции обратного распространения очень хорошей книги Майкла Нильсена.

Dawny33
источник
0

В машинном обучении обратное распространение (backprop, BP) является широко используемым алгоритмом при обучении нейронных сетей прямой связи для контролируемого обучения. Обобщения обратного распространения существуют для других искусственных нейронных сетей (ANN), а для функций в целом - класса алгоритмов, обычно называемых «обратным распространением».

ALFIANSYAH
источник
Привет, добро пожаловать на AI Stack Exchange. Вместо того, чтобы публиковать ответы из Википедии, рекомендуется выражать ответы на вопросы своими словами, хотя Википедия может использоваться для поддержки аргументов или получения объяснений. Пожалуйста, обновите свой ответ, чтобы быть более в этом направлении.
Джейден Травник
0

Это причудливое название для правила многомерной цепочки.

FourierFlux
источник
Привет. Не могли бы вы поддержать этот ответ чуть более подробно? (Я понимаю, что это простой вопрос, но я думаю, что ваш ответ заслуживает большего объяснения.)
DukeZhou