Все, что связано с Deep Learning (DL) и глубокими (er) сетями, кажется «успешным», по крайней мере, очень быстрым, развивая веру в то, что AGI достижим. Это популярное воображение. DL - это потрясающий инструмент для решения многих проблем, включая создание AGI. Однако этого недостаточно. Инструмент является необходимым компонентом, но часто недостаточным.
Ведущие деятели в этой области ищут возможности для прогресса. В этом отчете / заявлении собраны ссылки на заявления Йошуа Бенжио , Янна ЛеКуна и Джеффа Хинтона . В отчете также объясняется:
Основными недостатками DL (как я их вижу) являются: опора на простейшие из возможных модельных нейронов («карикатурный», как их называет LeCun); использование идей статистической механики и статистики XIX века, которые являются основой энергетических функций и методов логарифмического правдоподобия; и сочетание этих методов в таких методах, как обратный ход и стохастический градиентный спуск, что приводит к очень ограниченному режиму применения (автономное, в основном пакетное, контролируемое обучение), требующему высококвалифицированных специалистов (так называемый «Стохастический спуск по выпуску»), большое количество дорогостоящих помечены данные обучения и вычислительные мощности. Хотя DL отлично подходит для крупных компаний, которые могут заманить или купить талант и использовать неограниченные ресурсы для сбора и обработки данных, DL просто не доступен и не полезен для большинства из нас.
Хотя это и интересно и уместно, такого рода объяснения на самом деле не решают суть проблемы: чего не хватает?
Вопрос кажется широким, но это может быть из-за отсутствия простого ответа. Есть ли способ точно определить, что DL не хватает для AGI?
источник
Ответы:
Каждый, кто имеет дело с нейронными сетями, упускает важный момент при сравнении систем с человеческим интеллектом. Человеку требуется много месяцев, чтобы сделать что-то вразумительное, не говоря уже о том, что он способен решать проблемы, с которыми взрослые люди едва справляются. Это и размер человеческого мозга огромен по сравнению с нашими нейронными сетями. Направление может быть правильным, но масштаб далеко. Количество нейронов в человеческом мозге можно сопоставить по памяти, но степень параллелизма для симуляции в реальном времени пока не может быть достигнута (по крайней мере, для случайного исследователя). В старости это может дать вам представление о том, насколько нам не хватает вычислительной мощности.
источник
Глубокое обучение в основном успешно в контролируемом обучении, в то время как мозг строит категории в основном без присмотра. Мы еще не знаем, как это сделать. (Взгляните на мозг Google : 16 000 ядер, и все, что можно сделать, это распознать кошки и человеческие лица с довольно ужасной точностью.)
Глубокое обучение использует крайне неструктурированные активации, то есть высокоуровневые представления «собака» и «кошка» в классификаторе нейронной сети вовсе не должны быть похожими. Мозг, с другой стороны, использует тормозные нейроны для создания разреженных распределенных представлений, которые можно разложить на их семантические аспекты. Это, вероятно, важно для абстракции и рассуждений по аналогии.
Мозг имеет много разных частей, которые работают вместе. Исследователи глубокого обучения только начинают интегрировать механизмы памяти или внимания в свою архитектуру.
Мозг объединяет информацию из разных чувств. Большинство приложений глубокого обучения используют только один тип ввода, например, текст или изображения.
Мозг способен моделировать последовательности как категории. (По сути, каждый глагол называет последовательную (т.е. временную) категорию.) Затем он может упорядочить эти категории в долгосрочные иерархические планы. До сих пор я не видел ничего в этом направлении в Deep Learning.
Также нейронные сети еще не могут работать в том же масштабе, что и человеческий мозг. Если вы посмотрите на ответы на этот вопрос , человеческий мозг будет впереди по количеству нейронов еще пару десятилетий. Нейронной сети может не понадобиться такое же количество нейронов, что и мозгу, чтобы достичь аналогичной производительности (из-за более высокой точности), но сейчас, например, обработка видео все еще довольно ограничена с точки зрения ввода и пропускной способности.
источник
ИМХО, первое препятствие - масштаб : даже самый большой DNN Google не приближается к масштабам мозга, и в несколько раз больше ...
источник
Я думаю, что до сих пор не хватает аспектов, которые делают человеческий мозг; имея много разных сетей, работающих друг с другом.
Подобно тому, как медитация улучшает когнитивные способности, так как мозг работает более синергетически, мы можем применить это и к машинам.
Например, Google учит компьютер мечтать, как и мы, укреплять то, что мы уже изучили. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww
А вот патнет, сеть нейронной сети. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7
Создаем всю эту механику и собираем их все вместе с достаточной мощностью, и мы подойдем довольно близко!
источник
Сторонники искусственного интеллекта сегодня сосредоточены на проблеме вычислимости - способности быстро решать сложные проблемы. Я полагаю, что любой успех в этом направлении не приведет к человеческому (общему) интеллекту, хотя он определенно превзойдет людей в определенных областях. Вместо этого, усилия должны быть направлены на изучение того, какие неврологические события вызывают ощущение (опыт квалиа). Конечно, это сложная проблема философии, но я считаю, что это уникальный ключ к общему интеллекту и его возможностям. Обратный инжиниринг, а также проверяемые теории должны быть продвинуты в этом направлении.
источник