Каково происхождение нейросетей автоэнкодеров?

13

Я искал в Google, Википедии, Google ученый и многое другое, но я не мог найти происхождение автоэнкодеров. Возможно, это одна из тех концепций, которые развивались очень постепенно, и невозможно проследить четкую отправную точку, но все же я хотел бы найти какое-то краткое изложение основных этапов их развития.

В главе об автоэнкодерах в книге Йена Гудфеллоу, Йошуа Бенжио и Аарона Курвилла говорится:

Идея автоэнкодеров на протяжении десятилетий была частью исторического ландшафта нейронных сетей (LeCun, 1987; Bourlard and Kamp, 1988; Hinton and Zemel, 1994). Традиционно автоэнкодеры использовались для уменьшения размерности или изучения особенностей.

В этой презентации Паскаля Винсента говорится:

Удаление шума с использованием классических автоэнкодеров было фактически введено намного раньше (LeCun, 1987; Gallinari et al., 1987), как альтернатива сетям Хопфилда (Hopfield, 1982).

Кажется, это подразумевает, что «классические автоэнкодеры» существовали до этого: ЛеКун и Галлинари использовали их, но не изобрели их. Я не вижу никаких следов "классических автоэнкодеров" ранее 1987 года.

Есть идеи?

neural-networks autoencoders history MiniQuark
источник

Ответы:

9

Согласно истории, представленной Шмидхубером, « Глубокое обучение в нейронных сетях: обзор », Neural Networks (2015), авто-кодеры были предложены в качестве метода для неконтролируемой предварительной подготовки в Ballard, «Модульное обучение в нейронных сетях», Proceedings. AAAI (1987). Однако неясно, впервые ли использовались автокодеры; это только первый раз, когда они использовались с целью предварительной подготовки ANN .

Как ясно из введения к статье Шмидхубера, довольно сложно объяснить все идеи, используемые в ANN, поскольку литература разнообразна, а терминология со временем эволюционировала.

Sycorax говорит восстановить Монику
источник
1
Бумага, написанная Баллардом, имеет совершенно другую терминологию, и в ней нет даже нюха о концепции автоэнкодера во всей ее полноте. Может быть, AE не имеет бумаги происхождения.
abunickabhi
2
В статье Шмудхубера подчеркивается, что терминология со временем менялась, и разные люди снова и снова открывали одни и те же темы. Неудивительно, что автор не использует слово «автоматический кодировщик»
Sycorax говорит, что восстановите Монику
4

Приведенный ниже документ косвенно говорит об автоэнкодере и датируется 1986 годом (что на год раньше, чем доклад Балларда в 1987 году).

DE Rumelhart, GE Hinton и RJ Williams, "Изучение внутренних представлений путем распространения ошибок". Параллельная распределенная обработка. Том 1: Основы. MIT Press, Кембридж, Массачусетс, 1986.

Статья в основном описывает новый вид сети прямого распространения в то время и ее математический формализм.

abunickabhi
источник