Сейчас я читаю книгу под названием « Практическое машинное обучение с Scikit-Learn и TensorFlow», а в главе 10 книги автор пишет следующее:
Архитектура биологических нейронных сетей (BNN) 4 по-прежнему является предметом активных исследований, но некоторые части мозга были нанесены на карту, и кажется, что нейроны часто организованы в последовательные слои, как показано на рисунке 10-2.
Однако там, похоже, нет никакой связи с какими-либо исследованиями. И автор не сказал это уверенно, учитывая, что он использовал « кажется, что нейроны часто организованы в последовательные слои» .
Это правда и насколько сильно в это верят? Из какого это исследования?
artificial-neuron
biology
Blaszard
источник
источник
Ответы:
Действительно короткий ответ: да
Чуть дольше отвечу: вроде
Длинный ответ:
Сверточные нейронные сети (CNN), которые сейчас являются стандартом в моделях обработки изображений, были вдохновлены работой, проделанной Хьюбелом и Визелем в 1950-60-х годах. Они показали, что зрительные коры кошек и обезьян содержат нейроны, которые индивидуально реагируют на небольшие области поля зрения.
Чтобы дать некоторое представление, мы должны сначала начать с палочек и колбочек в глазах. Эти светочувствительные клетки связаны с несколькими слоями клеток, прежде чем даже покинуть сетчатку через ганглиозные клетки.
Эти ганглиозные клетки затем соединяются с несколькими областями головного мозга, но в первую очередь с затылочной долей, расположенной в задней части мозга. Затылочная доля отвечает за визуальную обработку и разделена на кортикальные слои, первый из которых называется V1, который является основной зрительной областью. Большая часть работ Хьюбела и Визела касалась клеток V1 и показала, насколько эти клетки чувствительны к ориентации и цвету из их соответствующих рецептивных областей на сетчатке.
Клетки в V1 связаны с клетками в V2, которые чувствительны к еще более специфическим стимулам, таким как движение с ориентацией, и эта тенденция специфической чувствительности продолжается от V2 до более высоких областей мозга.
Этот многоуровневый подход к зрению интенсивно использовался в CNN, настолько, что при отображении чувствительности нейронов в обученных CNN обнаруживаются сходные ответы (ориентация).
Существует явное доказательство наличия слоев в биологических оптических системах и подобных слоистых структур в других смыслах. Хотя существует множество связей между различными структурами мозга, основная структура слоев в мозге помогла понять, что делают разные области мозга, и помогла вдохновить многие (если не все) достижения в исследованиях нейронных сетей.
источник
Организованы ли биологические нейроны в последовательных слоях?
Принимая реальность сложности
Сказать «Да» было бы грубым упрощением, так же как цифровое обучение, возникающее из некоторой простой формы рекурсии, примененной к набору логических правил предикатов первого порядка, было похоже на бег по радуге гнома к горшку с золотом.
Последний набор вопросов уместен: «Это правда и насколько сильно в это верится? Из какого исследования?» Вам понадобится опрос, чтобы определить, насколько сильно считается, что нейроны в мозге имеют преимущественно слоистую структуру. Ссылки на слои в реальных исследованиях , по-видимому, не претендуют на то, что слои в большинстве случаев являются последовательными. У кожи есть последовательные слои, но у кожи, состоящей только из слоев, не было бы пор, волосков, сопряжения с отверстиями в теле и многих других функций. В человеческом мозге (или в мозге животных) трехмерная сложность значительно увеличивается по сравнению с кожей.
Было бы неплохо, с точки зрения исследователя ИИ, если
Изображение, представленное в вопросе, не иллюстрирует такую простоту. Это на самом деле иллюстрирует обратное: природа редко бывает настолько прозрачна в своих тонкостях.
Характеристика «Поскольку кажется, что нейроны часто организованы в последовательные слои», не является точной. Приведенная ниже более разумная характеристика конкретного показанного среза указывает на две области, которые могут быть дискретно разделены: сетка на самых левых 8% и в основном горизонтальная связность в оставшихся 92%.
Инженер-электрик или математик, вероятно, не назвал бы эти два раздела слоями. Левая сторона может быть предположена как матрица некоторой формы, а правые 92% могут считаться сложной схемой обработки.
Характеристика 2D структуры
Еще одно изображение с хаотической структурой
Миллионы раз сложность
Рассмотрим далее, что большая часть сложности скрыта от зрителя в одном срезе трехмерной неврологической структуры. Если мы произвольно решим, что изображение представляет собой срез, разрезанный параллельно плоскости xz, мы можем увидеть отношения в этом плане xz, но не в xy и не в yz. Любой другой фрагмент в другом направлении или месте в мозге будет таким же уникальным, как произвольное окно в набор Мандельброта.
Больше искажения результатов исследований
Фраза «Некоторые части мозга были нанесены на карту» также вводит в заблуждение. Общая связь между подструктурами человеческого мозга была нанесена на карту, а не сигналы и критерии для распространения сигнала и силы в отдельных нейронах. Цепи радикально различаются на уровне нейронов между двумя мозгами, оба из которых проявляют разумность in vivo (в живом существе).
Аналогия похожа на человека размером с микроба с картой континентов, крупных городов и маршрутов судоходства, но без предварительных знаний о транспортных системах, без GPS и другой подробной карты, желающей пройти путь от Эйфелевой башни до центр города в Сиднее, Австралия. Существует недостаточный набор эволюции транспортной системы или подробных указаний, с помощью которых можно успешно совершить путешествие.
В случае достижения уровня детализации структуры и функций человеческого мозга, достаточного для создания электронной версии одного из них, отсутствующие фрагменты включают в себя недостаточное понимание
Слои и Иерархии
В науке принято искать слои или иерархии для использования в образовании и на практике, потому что они могут помочь в понимании анатомической структуры. Эта тенденция появилась в разработке программного обеспечения в проектировании операционной системы, разработке языка программирования, разработке приложений, а теперь и в дизайне AI. По мере развития этих технологических областей, тенденция фактически отходит от чисто ориентированного на слой или иерархического дизайна до более свободной сети взаимосвязанных частей. Простота желательна, но сложность иногда требуется.
Имитация интеллекта является сложной задачей, и, поскольку простота, потерпевшая неудачу в первые полвека попыток создания интеллектуальных цифровых систем, ясно, что рабочие решения потребуют сложности и, следовательно, значительного опыта.
Разумно предположить, что нет никаких ограничений, направляющих эволюцию человеческого интеллекта в направлении структуры, характеризуемой прежде всего слоем или иерархической структурой. Эволюционные процессы не обращают внимания на простоту в целях облегчения академического обучения. В экспрессии генов ДНК или в способах, которыми нейроны растут на эмбрионе или на более поздних стадиях, нет ничего, что могло бы навязать такие правила простоты в отношении структуры или функции.
Насколько сложны выражения ДНК, которые приводят к особенностям мозга, которые мы считаем интеллектуальными? Насколько сложны нейронные системы, которые возникают из этих выражений? Некоторые считают, что человечеству придется развиваться, прежде чем человеческий разум сможет имитировать себя. Такая гипотеза может быть верной или ложной. Такое сложно предсказать даже на порядок.
Численный анализ оптимистического прогноза
Ожидание экспоненциального роста было предложено для ожидаемой продолжительности жизни, развернутой емкости солнечной панели в Германии, скорости процессора (количество выполнений команд микропроцессора в секунду), плотности транзисторов («закон» Мура), размера Коммунистической партии и многих других показателей, но, хотя темпы роста в природе и человеческих начинаниях часто бывают экспоненциальными на ранних стадиях, они никогда не оказывались устойчивыми. Скорости роста в течение короткого периода времени становятся приблизительно линейными и становятся более дугообразными по мере приближения к насыщению. От насыщения значения метрики имеют тенденцию уменьшаться и увеличиваться в хаотических припадках и начинаются в течение длительных периодов времени.
В апреле 2005 года Гордон Мур (автор «Закона» Мура) заявил: «[Экспоненциальный рост] не может продолжаться вечно. Характер экспонент заключается в том, что вы их выталкиваете, и в конечном итоге происходит катастрофа». Позже он заявил: «С точки зрения размера [транзисторов] вы можете видеть, что мы приближаемся к размеру атомов, который является фундаментальным барьером».
Важно понимать, что Мур не изобрел закон. Он просмотрел данные за два десятилетия и заметил, что плотность транзисторов была примерно пропорциональна e t , где t - время, прошедшее с момента, когда интегральные схемы впервые достигли массового рынка, а затем предсказал дальнейший экспоненциальный рост на основе данных четких трендов.
Реалистичное Предсказание
Люди никогда не пробовали что-то столь же принципиально пороговое, как создание симуляции себя. Без соответствующего опыта, из которого можно было бы узнать, является ли экспоненциальный рост, линейный рост, арктангенс-рост или какая-либо другая форма наиболее вероятной моделью, наиболее безопасной моделью, вероятно, является та, которую предписал бы Бритва Оккама, - линейное предсказание.
Чтобы сделать какой-либо прогноз, нужно собрать несколько точек данных. Хотя это реалистичный прогноз, он не очень прилежный. Возможно, можно было бы проделать большую работу, чтобы найти модель, которая является более вероятной, чем линейная, разработать систему теории и метрик для определения прогресса в любой момент времени или собрать больше точек данных для определения соответствия наименьших квадратов. Для целей этого ответа мы просто используем две точки данных и делаем линейную экстраполяцию.
В 1660 году Блез Паскаль писал в своих «Пенсе» («Мысли»): «Арифметическая машина производит эффекты, которые ближе к мышлению, чем все действия животных. Но она не делает ничего, что позволило бы нам приписать ей волю, как к животных », поэтому поиск механического моделирования человеческого интеллекта уже начался в то время.
С тех пор программисты разработали код, который реализует ряд человеческих возможностей.
Особенности, отсутствующие в современной степени цифрового моделирования интеллекта цифровых систем, важны и многочисленны.
Учитывая, что этот список сокращен, и эти элементы, которые еще не были достигнуты в программном обеспечении, не являются настолько механически описываемыми на естественном языке, как те, которые уже были успешно запрограммированы, мы можем быть относительно уверены, что в 2017 году у нас есть цифровые системы, которые достигли только доля широты возможностей полного набора, которую люди ожидают от человека, не называя человека умственно отсталым. Судя по списку достижений, компьютерное программное обеспечение моделирует не более 10% того, что делают умные люди.
Без какой-либо причины полагать, что скорость открытия будет снижаться или увеличиваться (несмотря на утверждения, что человеческое продвижение было экспоненциальным 1 ), простое линейное приближение помещает относительно полный электронный мозг на горизонте для 5587 года.
источник