Ребенку в возрасте 2 лет требуется около 5 экземпляров автомобиля, чтобы можно было с достаточной точностью идентифицировать его, независимо от цвета, марки и т. Д. Когда моему сыну было 2 года, он смог опознать трамваи и поезда, даже если он видел немного. Поскольку он обычно путал друг друга, очевидно, его нейронная сеть была недостаточно обучена, но все же.

Почему отсутствуют искусственные нейронные сети, которые мешают им быстрее учиться? Является ли передача обучения ответом?

Я предостерегаю от ожидания сильного сходства между биологическими и искусственными нейронными сетями. Я думаю, что название «нейронные сети» немного опасно, потому что оно обманывает людей в ожидании того, что неврологические процессы и машинное обучение должны быть одинаковыми. Различия между биологическими и искусственными нейронными сетями перевешивают сходства.

В качестве примера того, как это может пойти не так, вы можете также включить рассуждения в оригинальном сообщении с ног на голову. Вы можете обучить нейронную сеть, чтобы научиться распознавать автомобили в полдень, при условии, что у вас достаточно быстрый компьютер и некоторое количество обучающих данных. Вы можете сделать это бинарным заданием (машина / не машина) или многоклассным заданием (машина / трамвай / велосипед / самолет / лодка) и при этом быть уверенным в высоком уровне успеха.

В отличие от этого, я бы не ожидал, что ребенок сможет выбрать автомобиль через день или даже неделю после его рождения, даже после того, как он увидел «так много тренировочных примеров». Что-то явно отличается между двухлетним ребенком и младенцем, что объясняет разницу в способности к обучению, в то время как нейронная сеть классификации изображений ванили вполне способна подобрать классификацию объектов сразу после «рождения». Я думаю, что есть два важных различия: (1) относительные объемы доступных данных обучения и (2) механизм самообучения, который развивается со временем из-за обильных данных обучения.

Оригинальный пост выставляет два вопроса. В заголовке и основной части вопроса задается вопрос, почему нейронным сетям нужно «так много примеров». Относительно опыта ребенка, нейронные сети, обученные с использованием общих тестов изображений, имеют сравнительно мало данных.

Я перефразирую вопрос в заголовке

«Как обучение нейронной сети для общего эталона изображения сравнивается с опытом обучения ребенка?»

Для сравнения я рассмотрю данные CIFAR-10, потому что это общий эталон изображения. Помеченная часть состоит из 10 классов изображений с 6000 изображений на класс. Каждое изображение размером 32x32 пикселей. Если вы каким-то образом сложите помеченные изображения из CIFAR-10 и сделаете стандартное видео со скоростью 48 кадров в секунду, у вас будет около 20 минут отснятого материала.

Ребенок 2 лет, который наблюдает за миром по 12 часов в день, имеет около 263000 минут (более 4000 часов) прямых наблюдений за миром, включая обратную связь от взрослых (ярлыки). (Это всего лишь приблизительные цифры - я не знаю, сколько минут типичный двухлетний ребенок провел, наблюдая за миром.) Кроме того, ребенок будет подвергаться воздействию многих, многих предметов за пределами 10 классов, входящих в CIFAR- 10.

Так что в игре есть несколько вещей. Один из них заключается в том, что ребенок в целом получает больше данных и более разнообразный источник данных, чем модель CIFAR-10. Разнообразие данных и объем данных широко признаны в качестве предварительных условий для надежных моделей в целом. В этом свете неудивительно, что нейронная сеть хуже в этой задаче, чем ребенок, потому что нейронная сеть, обученная на CIFAR-10, положительно испытывает недостаток обучающих данных по сравнению с двухлетним ребенком. Разрешение изображения, доступное ребенку, лучше, чем изображения CIFAR-10 32x32, поэтому ребенок может узнать информацию о мелких деталях объектов.

Сравнение CIFAR-10 с двухлетним возрастом не является идеальным, потому что модель CIFAR-10, вероятно, будет обучена с помощью нескольких проходов по одним и тем же статическим изображениям, в то время как ребенок, используя бинокулярное зрение, увидит, как объекты расположены в три -мерный мир при движении и с разными условиями освещения и перспективами на одних и тех же объектах.

Анекдот о ребенке OP подразумевает второй вопрос,

«Как нейронные сети могут стать самообучающимися?»

Ребенок наделен некоторым талантом к самообучению, так что новые категории предметов могут быть добавлены со временем без необходимости начинать все заново.

• Замечание OP о трансферном обучении называет один вид адаптации модели в контексте машинного обучения.

• В комментариях другие пользователи указали, что одноразовое обучение * является еще одной областью исследований в области машинного обучения.

• Кроме того, обучение с подкреплением рассматривает модели самообучения с другой точки зрения, по существу позволяя роботам проводить эксперименты методом проб и ошибок, чтобы найти оптимальные стратегии для решения конкретных задач (например, игры в шахматы).

Вероятно, верно, что все три из этих парадигм машинного обучения имеют отношение к улучшению того, как машины адаптируются к новым задачам компьютерного зрения. Быстрая адаптация моделей машинного обучения к новым задачам является активной областью исследований. Тем не менее, поскольку практические цели этих проектов (выявление новых экземпляров вредоносного ПО, распознавание самозванцев на фотографиях в паспортах, индексирование Интернета) и критерии успеха отличаются от целей обучения детей миру, а также от того, что это делается в компьютер, использующий математику, а другой сделан из органического материала с использованием химии, прямые сравнения между ними останутся чреваты.

Кроме того, было бы интересно изучить, как перевернуть проблему CIFAR-10 и обучить нейронную сеть распознавать 6000 объектов из 10 примеров каждого. Но даже это не будет справедливым сравнением с двухлетним ребенком, потому что все равно будет существенное расхождение в общем объеме, разнообразии и разрешении обучающих данных.

* В настоящее время у нас нет тегов для однократного или малошагового обучения.

Прежде всего, в возрасте двух лет ребенок много знает о мире и активно применяет эти знания. Ребенок делает много «трансферного обучения», применяя эти знания к новым понятиям.

Во-вторых, перед тем, как увидеть эти пять «маркированных» примеров автомобилей, ребенок видит много автомобилей на улице, по телевизору, игрушечные машинки и т. Д., Поэтому также много «неконтролируемого обучения» происходит заранее.

Наконец, нейронные сети почти не имеют ничего общего с человеческим мозгом, поэтому сравнивать их нет особого смысла. Также обратите внимание, что существуют алгоритмы однократного обучения, и в настоящее время в значительной степени проводятся исследования по этому вопросу.

Одним из основных аспектов, который я не вижу в текущих ответах, является эволюция .

Детский мозг не учится с нуля. Это похоже на вопрос о том, как дети оленей и жирафов могут ходить через несколько минут после рождения. Потому что они рождаются с мозгами, уже подключенными для этой задачи. Конечно, требуется некоторая подстройка, но олень не учится ходить от «случайной инициализации».

Точно так же факт, что большие движущиеся объекты существуют и которые важно отслеживать, является тем, с чем мы рождаемся.

Поэтому я думаю, что предположение этого вопроса просто неверно. Человеческие нейронные сети имели возможность видеть тонны - может быть, не машины, а - движущиеся, вращающиеся трехмерные объекты со сложными текстурами, формами и т. Д., Но это происходило на протяжении многих поколений, и обучение осуществлялось с помощью эволюционных алгоритмов, то есть тех, чей мозг была лучше структурирована для этой задачи, могла дожить до размножения с большей вероятностью, оставив следующему поколению с лучшей и лучшей проводкой мозга с самого начала.

Я не знаю много о нейронных сетях, но я знаю немного о детях.

У многих 2-х лет есть много вопросов о том, какими должны быть общие слова. Например, в этом возрасте дети часто используют «собаку» для любого четвероногого животного. Это более сложное различие, чем «машина» - просто подумайте, как пудель отличается от великого датчанина, например, и все же они оба «собаки», а кошка - нет.

И ребенок в 2 года видел много много больше чем 5 примеров "автомобиля". Ребенок видит десятки или даже сотни образцов автомобилей каждый раз, когда семья катается. И многие родители прокомментируют «посмотрите на машину» намного больше, чем в 5 раз. Но дети также могут мыслить так, о чем им не говорили. Например, на улице ребенок видит много вещей, выстроенных в очередь. Его папа говорит (об одном): «Посмотри на блестящую машину!» и ребенок думает, что, может быть, все эти вещи - тоже машины?

Это интересный вопрос, над которым я тоже много размышлял, и может дать несколько объяснений почему.

• Нейронные сети работают не так, как мозг. Обратное распространение уникально для нейронных сетей и не происходит в мозге. В этом смысле, мы просто не знаем общий алгоритм обучения в нашем мозгу. Это может быть электрическое, это может быть химическое, это может быть даже комбинация двух. Нейронные сети можно рассматривать как низшую форму обучения по сравнению с нашим мозгом из-за того, насколько они упрощены.
• Если нейронные сети действительно похожи на наш мозг, то в ранние дни человеческие дети проходят обширную «тренировку» ранних слоев, таких как выделение признаков. Таким образом, их нейронные сети на самом деле не обучены с нуля, а последний уровень переобучен, чтобы добавлять все больше классов и меток.

Ребенку в возрасте 2 лет требуется около 5 экземпляров автомобиля, чтобы можно было с достаточной точностью идентифицировать его независимо от цвета, марки и т. Д.

Понятие «экземпляры» легко запутывается. В то время как ребенок, возможно, видел 5 уникальных экземпляров автомобиля, он на самом деле видел тысячи тысяч кадров в различных условиях. Они, вероятно, видели машины в других контекстах. У них также есть интуиция для физического мира, развитая в течение их жизни - некоторое обучение передачи вероятно случается здесь. И все же мы свернули все это в «5 экземпляров».

Между тем каждый кадр / изображение, которое вы передаете в CNN, считается «примером». Если вы применяете непротиворечивое определение, обе системы действительно используют гораздо более похожий объем обучающих данных.

Кроме того, я хотел бы отметить, что сверточные нейронные сети - CNN - более полезны в компьютерном зрении, чем ANN, и на самом деле приближают производительность человека к таким задачам, как классификация изображений. Глубокое обучение (возможно) не является панацеей, но в этой области оно работает превосходно.

Как отмечают другие, эффективность данных искусственных нейронных сетей довольно существенно варьируется в зависимости от деталей. На самом деле, существует много так называемых методов обучения «одним выстрелом», которые могут решить задачу маркировки трамваев с достаточно хорошей точностью, используя только одну маркированную выборку.

Один из способов сделать это - так называемое трансферное обучение; Сеть, обученная на других этикетках, обычно очень эффективно адаптируется к новым этикеткам, поскольку тяжелая работа разумным образом разрушает низкоуровневые компоненты изображения.

Но нам не нужны такие помеченные данные для выполнения такой задачи; так же, как дети не нуждаются почти в таком количестве маркированных данных, как нервные сети, о которых вы думаете.

Например, один из таких неконтролируемых методов, который я также успешно применил в других контекстах, состоит в том, чтобы взять немаркированный набор изображений, случайным образом повернуть их и обучить сеть, чтобы предсказать, какая сторона изображения «вверх». Не зная, что представляют собой видимые объекты или как они называются, это заставляет сеть узнавать огромное количество структур об изображениях; и это может послужить отличной основой для более эффективного последующего обучения с использованием данных.

Хотя это правда, что искусственные сети весьма отличны от реальных, возможно, значимыми способами, такими как отсутствие очевидного аналога обратного распространения, вполне вероятно, что реальные нейронные сети используют те же приемы, пытаясь научиться Структура данных подразумевает некоторые простые приоры.

Еще один пример, который почти наверняка играет роль у животных и также показал большие перспективы в понимании видео, заключается в предположении, что будущее должно быть предсказуемо из прошлого. Просто исходя из этого предположения, вы можете многому научить нейронную сеть. Или на философском уровне, я склонен полагать, что это предположение лежит в основе почти всего, что мы считаем «знанием».

Я не говорю ничего нового здесь; но это относительно ново в том смысле, что эти возможности слишком молоды, чтобы найти еще много применений, и еще не дошли до понимания в учебнике того, «что может делать ANN». Таким образом, чтобы ответить на вопрос ОП; ANN уже закрыли большую часть разрыва, который вы описываете.

Один из способов обучения глубокой нейронной сети состоит в том, чтобы рассматривать ее как стек авто-кодировщиков ( ограниченных машин Больцмана ).

Теоретически, авто-кодировщик обучается неконтролируемым образом: он принимает произвольные немеченые входные данные и обрабатывает их для генерации выходных данных. Затем он берет эти выходные данные и пытается восстановить свои входные данные. Он настраивает параметры своих узлов, пока не может приблизиться к циклическому отключению своих данных. Если вы думаете об этом, авто-кодировщик пишет свои собственные автоматизированные модульные тесты. По сути, он превращает свои «немаркированные входные данные» в помеченные данные: исходные данные служат меткой для округленных данных.

После обучения слоев автокодировщиков нейронная сеть настраивается с использованием помеченных данных для выполнения своей предполагаемой функции. По сути, это функциональные тесты.

Оригинальный плакат спрашивает, почему для обучения искусственной нейронной сети требуется много данных, и сравнивает это с предположительно небольшим количеством обучающих данных, необходимых двухлетнему человеку. Оригинальный плакат сравнивает яблоки с апельсинами: общий процесс обучения для искусственной нейронной сети, в отличие от точной настройки с ярлыками для двухлетнего ребенка.

Но на самом деле двухлетний ребенок более двух лет обучал свои автокодеры случайным, самозаверяемым данным. Младенцы мечтают, когда находятся в утробе матери . (Как и котята.) Исследователи описали эти сны как случайные включения нейронов в центрах визуальной обработки.

Мы не учимся «видеть машины», пока не научимся видеть

Ребенку требуется много времени и много примеров, чтобы научиться видеть объекты как таковые. После этого ребенок может научиться определять конкретный тип объекта из нескольких примеров. Если вы сравните двухлетнего ребенка с системой обучения, которая буквально начинается с чистого листа, это сравнение яблок и апельсинов; в этом возрасте ребенок видел тысячи часов «видеоматериалов».

Подобным образом, искусственным нейронным сетям нужно много примеров, чтобы научиться «видеть», но после этого можно перенести эти знания в новые примеры. Трансферное обучение - это целая область машинного обучения, и возможны такие вещи, как «однократное обучение» - вы можете создавать ANN, которые научатся идентифицировать новые типы объектов, которые он не видел ранее из одного примера, или идентифицировать конкретный человек с одной фотографии их лица. Но для того, чтобы хорошо выполнить эту начальную часть «обучения зрению», требуется довольно много данных.

Более того, есть некоторые свидетельства того, что не все данные обучения одинаковы, а именно, те данные, которые вы «выбираете» во время обучения, более эффективны, чем данные, которые просто предоставляются вам. Например, эксперимент Held & Hein с двумя котятами. https://www.lri.fr/~mbl/ENS/FONDIHM/2013/papers/about-HeldHein63.pdf

Одна вещь, которую я до сих пор не видел в ответах, это тот факт, что один «экземпляр» объекта реального мира, который видит ребенок, не соответствует экземпляру в контексте обучения NN.

Предположим, вы стоите на железнодорожном перекрестке с 5-летним ребенком и наблюдаете, как 5 поездов проходят в течение 10 минут. Теперь вы можете сказать: «Мой ребенок видел только 5 поездов и может надежно идентифицировать другие поезда, в то время как NN нужны тысячи изображений!». Хотя это, скорее всего, правда, вы полностью игнорируете тот факт, что каждый поезд, который видит ваш ребенок, содержит ОЧЕНЬ больше информации, чем одно изображение поезда. Фактически, мозг вашего ребенка обрабатывает несколько десятков изображений поезда в секунду, когда он проходит мимо, каждый с немного другого угла, разных теней и т. Д., В то время как одно изображение предоставит NN очень ограниченную информацию. В этом контексте у вашего ребенка даже есть информация, которая недоступна для NN, например, скорость поезда или звук, который издает поезд.

Далее ваш ребенок может говорить и задавать вопросы! "Поезда очень длинные, верно?" «Да», «И они тоже очень большие, верно?» "Да.". С двумя простыми вопросами ваш ребенок изучит две очень важные функции менее чем за минуту!

Другим важным моментом является обнаружение объектов. Ваш ребенок может сразу определить, на каком объекте, т.е. на какой части изображения он должен сосредоточиться, в то время как NN должен научиться обнаруживать соответствующий объект, прежде чем он сможет попытаться его классифицировать.

Я бы сказал, что производительность не так уж отличается, как вы могли бы ожидать, но вы задаете отличный вопрос (см. Последний абзац).

Как вы упомянули о трансферном обучении: чтобы сравнить яблоки с яблоками, мы должны посмотреть, сколько всего изображений и сколько изображений «интересует» человек / нейронная сеть.

1. Сколько картинок смотрит человек?

Человеческое движение глаз занимает около 200 мс, что можно рассматривать как «биологическую фотографию». Смотрите выступление эксперта по компьютерному зрению Фэй-Фэй Ли: https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures#t-362785 .

Она добавляет:

Таким образом, к 3 годам ребенок увидел бы сотни миллионов фотографий.

В ImageNet, ведущей базе данных для обнаружения объектов, есть ~ 14 миллионов помеченных изображений. Таким образом, нейронная сеть, обучаемая в ImageNet, увидела бы столько же изображений, сколько ребенок 14000000/5/60/60/24 * 2 ~ 64 дня, то есть два месяца (при условии, что ребенок не спит половину своей жизни). Честно говоря, сложно сказать, сколько из этих картинок помечено. Более того, картинки, которые видит ребенок, не такие разнообразные, как в ImageNet. (Вероятно, ребенок видит, что ее мать имеет время, ...;). Тем не менее, я думаю, что будет справедливо сказать, что ваш сын увидит сотни миллионов фотографий (а затем применяет трансферное обучение).

Итак, сколько картинок нам нужно, чтобы выучить новую категорию, учитывая прочную базу связанных картинок, из которых можно (перенести) уроки?

Первое сообщение в блоге, которое я нашел, было таким: https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html . Они используют 1000 примеров на класс. Я могу представить себе, что через 2,5 года потребуется даже намного меньше. Тем не менее, 1000 изображений можно увидеть человеком в 1000/5/60 за 3,3 минуты.

Вы написали:

Ребенку в возрасте 2 лет требуется около 5 экземпляров автомобиля, чтобы можно было с достаточной точностью идентифицировать его независимо от цвета, марки и т. Д.

Это было бы эквивалентно сорока секундам за экземпляр (с различными углами этого объекта, чтобы сделать его сопоставимым).

Подводя итог: как я уже говорил, мне пришлось сделать несколько предположений. Но я думаю, что можно видеть, что производительность не настолько отличается, как можно было бы ожидать.

Тем не менее, я считаю, что вы задаете отличный вопрос, и вот почему:

2. Будет ли нейронная сеть работать лучше / отличаться, если она будет работать как мозг? (Джеффри Хинтон говорит да).

В интервью https://www.wired.com/story/googles-ai-guru-computers-think-more-like-brains/ в конце 2018 года он сравнивает текущие реализации нейронных сетей с мозгом. По весу он говорит, что искусственные нейронные сети меньше, чем мозг, в 10 000 раз. Поэтому мозгу нужно гораздо меньше итераций тренировок, чтобы учиться. Для того, чтобы искусственные нейронные сети работали так же, как наши мозги, он следует другой тенденции в области аппаратного обеспечения - британскому стартапу под названием Graphcore. Это сокращает время расчета за счет умного способа хранения весов нейронной сети. Следовательно, можно использовать больше весов, и время обучения искусственных нейронных сетей может сократиться.

Я эксперт в этом. Я человек, я был ребенком, у меня есть машина, и я занимаюсь искусственным интеллектом.

Причиной, по которой дети выбирают машины с гораздо более ограниченными примерами, является интуиция. Человеческий мозг уже имеет структуры для работы с трехмерными вращениями. Кроме того, есть два глаза, которые обеспечивают параллакс для картирования глубины, который действительно помогает. Вы можете интуитивно понять между автомобилем и изображением автомобиля, потому что нет реальной глубины изображения. Хинтон (исследователь искусственного интеллекта) предложил идею Capsule Networks, которая сможет управлять вещами более интуитивно. К сожалению для компьютеров, обучающие данные - это (обычно) 2D-изображения, массивы плоских пикселей. Чтобы не перегружать, требуется много данных, поэтому ориентация автомобилей на изображениях обобщена. Детский мозг уже может сделать это и может распознать автомобиль в любой ориентации.