Организованы ли биологические нейроны также в последовательных слоях?

9

Сейчас я читаю книгу под названием « Практическое машинное обучение с Scikit-Learn и TensorFlow», а в главе 10 книги автор пишет следующее:

Архитектура биологических нейронных сетей (BNN) 4 по-прежнему является предметом активных исследований, но некоторые части мозга были нанесены на карту, и кажется, что нейроны часто организованы в последовательные слои, как показано на рисунке 10-2.

введите описание изображения здесь

Однако там, похоже, нет никакой связи с какими-либо исследованиями. И автор не сказал это уверенно, учитывая, что он использовал « кажется, что нейроны часто организованы в последовательные слои» .

Это правда и насколько сильно в это верят? Из какого это исследования?

Blaszard
источник
@ JadenTravnik ответ хороший, см. Мой комментарий там. Разница между ссылкой здесь и этим ответом заключается в том, что эта цитата, по-видимому, подразумевает, что в одном столбце в неокортексе есть структура прямой связи (поскольку это изображение представлено здесь). Это, конечно, неверно, хотя иногда работает как модель. Хотя в колонке есть свидетельства некоторой прямой обработки, существует также множество повторений и отзывов. Структура прямой связи имеет больше смысла между областями коры (это то, что ответ ниже).
Брайан Краузе
Терминология «слой» имеет различное значение и в двух контекстах. Когда биологи говорят о корковых "слоях", они имеют в виду анатомические слои, а не функциональные слои в стиле нейронной сети. Клетки в одном слое сильно взаимосвязаны друг с другом, а также в меньшей степени с клетками всех других слоев. В этом ответе на некоторые вопросы можно найти ответ на другой вопрос на сайте biology.se: biology.stackexchange.com/questions/57495/…
Брайан Краузе

Ответы:

6

Действительно короткий ответ: да

Чуть дольше отвечу: вроде

Длинный ответ:

Сверточные нейронные сети (CNN), которые сейчас являются стандартом в моделях обработки изображений, были вдохновлены работой, проделанной Хьюбелом и Визелем в 1950-60-х годах. Они показали, что зрительные коры кошек и обезьян содержат нейроны, которые индивидуально реагируют на небольшие области поля зрения.

Чтобы дать некоторое представление, мы должны сначала начать с палочек и колбочек в глазах. Эти светочувствительные клетки связаны с несколькими слоями клеток, прежде чем даже покинуть сетчатку через ганглиозные клетки.

Изображение стержней, соединенных с биполярными клетками, соединенными с ганглиозными клетками

Эти ганглиозные клетки затем соединяются с несколькими областями головного мозга, но в первую очередь с затылочной долей, расположенной в задней части мозга. Затылочная доля отвечает за визуальную обработку и разделена на кортикальные слои, первый из которых называется V1, который является основной зрительной областью. Большая часть работ Хьюбела и Визела касалась клеток V1 и показала, насколько эти клетки чувствительны к ориентации и цвету из их соответствующих рецептивных областей на сетчатке.

введите описание изображения здесь

Клетки в V1 связаны с клетками в V2, которые чувствительны к еще более специфическим стимулам, таким как движение с ориентацией, и эта тенденция специфической чувствительности продолжается от V2 до более высоких областей мозга.

Этот многоуровневый подход к зрению интенсивно использовался в CNN, настолько, что при отображении чувствительности нейронов в обученных CNN обнаруживаются сходные ответы (ориентация).

введите описание изображения здесь

Существует явное доказательство наличия слоев в биологических оптических системах и подобных слоистых структур в других смыслах. Хотя существует множество связей между различными структурами мозга, основная структура слоев в мозге помогла понять, что делают разные области мозга, и помогла вдохновить многие (если не все) достижения в исследованиях нейронных сетей.

Яден Травник
источник
1
Получил пинг от Биологии. Этот ответ хорош, конечно, достаточно хорош для этой области. Слои в реальном неокортексе отличаются от большинства нейронных сетей тем, что они являются массово рекуррентными, состоят из одновременно активной прямой и обратной связи и очень зависят от недавней истории и общего состояния. И это только в одной визуальной области (например, V1). Некоторые искусственные сети передают некоторые из этих функций, другие имитируют их с помощью других более дружественных к вычислениям механизмов.
Брайан Краузе
1

Организованы ли биологические нейроны в последовательных слоях?

Принимая реальность сложности

Сказать «Да» было бы грубым упрощением, так же как цифровое обучение, возникающее из некоторой простой формы рекурсии, примененной к набору логических правил предикатов первого порядка, было похоже на бег по радуге гнома к горшку с золотом.

Последний набор вопросов уместен: «Это правда и насколько сильно в это верится? Из какого исследования?» Вам понадобится опрос, чтобы определить, насколько сильно считается, что нейроны в мозге имеют преимущественно слоистую структуру. Ссылки на слои в реальных исследованиях , по-видимому, не претендуют на то, что слои в большинстве случаев являются последовательными. У кожи есть последовательные слои, но у кожи, состоящей только из слоев, не было бы пор, волосков, сопряжения с отверстиями в теле и многих других функций. В человеческом мозге (или в мозге животных) трехмерная сложность значительно увеличивается по сравнению с кожей.

Было бы неплохо, с точки зрения исследователя ИИ, если

  • Эвристическая или теоретически доказанная рекурсивная схема, применяемая к экспертной системе, может привести к обучению или интеллекту или
  • Карта человеческого (или птичьего) мозга может быть сведена к набору похожих нейронов в рядах одинаковых нейронов, расположенных в слоях.

Изображение, представленное в вопросе, не иллюстрирует такую ​​простоту. Это на самом деле иллюстрирует обратное: природа редко бывает настолько прозрачна в своих тонкостях.

Характеристика «Поскольку кажется, что нейроны часто организованы в последовательные слои», не является точной. Приведенная ниже более разумная характеристика конкретного показанного среза указывает на две области, которые могут быть дискретно разделены: сетка на самых левых 8% и в основном горизонтальная связность в оставшихся 92%.

Инженер-электрик или математик, вероятно, не назвал бы эти два раздела слоями. Левая сторона может быть предположена как матрица некоторой формы, а правые 92% могут считаться сложной схемой обработки.

Характеристика 2D структуры

  • Аксоны направлены в основном вдоль направления, описываемого единичным вектором (-1, 0, 0), иначе описываемого справа налево.
  • Плотность аксонов увеличивается для любовных значений x из-за высокой доли аксонов, которые заканчиваются при более низких значениях x.
  • Плотность зародыша относительно равномерна в диапазоне пропорциональности от 0,1 до 1,0.
  • Размеры ядра и связанная с ним сложность дендритов приблизительно соответствуют градиенту с первичными максимумами при 0,8 от пропорционального значения х и вторичными максимумами с 0,55 от пропорционального значения х
  • По крайней мере два аксона раздваиваются между этими пропорциональными точками x.
  • Существуют почти равноотстоящие аксиомы, все приблизительно параллельные оси z в диапазоне от 0,0 до 0,08 от пропорционального значения x.
  • Дальнейшие структурные паттерны либо неясны, либо отсутствуют.

Еще одно изображение с хаотической структурой

введите описание изображения здесь

Миллионы раз сложность

Рассмотрим далее, что большая часть сложности скрыта от зрителя в одном срезе трехмерной неврологической структуры. Если мы произвольно решим, что изображение представляет собой срез, разрезанный параллельно плоскости xz, мы можем увидеть отношения в этом плане xz, но не в xy и не в yz. Любой другой фрагмент в другом направлении или месте в мозге будет таким же уникальным, как произвольное окно в набор Мандельброта.

Больше искажения результатов исследований

Фраза «Некоторые части мозга были нанесены на карту» также вводит в заблуждение. Общая связь между подструктурами человеческого мозга была нанесена на карту, а не сигналы и критерии для распространения сигнала и силы в отдельных нейронах. Цепи радикально различаются на уровне нейронов между двумя мозгами, оба из которых проявляют разумность in vivo (в живом существе).

Аналогия похожа на человека размером с микроба с картой континентов, крупных городов и маршрутов судоходства, но без предварительных знаний о транспортных системах, без GPS и другой подробной карты, желающей пройти путь от Эйфелевой башни до центр города в Сиднее, Австралия. Существует недостаточный набор эволюции транспортной системы или подробных указаний, с помощью которых можно успешно совершить путешествие.

В случае достижения уровня детализации структуры и функций человеческого мозга, достаточного для создания электронной версии одного из них, отсутствующие фрагменты включают в себя недостаточное понимание

  • Условия, при которых аксон или дендрит растет в длину или раздваивается
  • Условия, при которых нейрон срабатывает, основаны на внутренних структурах, которые, как известно, содержат информацию о состоянии внутри цитоплазмы.
  • Связь между геномом человека и его разновидностями и влиянием на структуру различных генов, механизмов экспрессии генов и связанных с ними ферментов и белков
  • Другие сложности за пределами моего уровня образования в нейробиологии.
  • Другие сложности за пределами уровня образования в нейробиологии.

Слои и Иерархии

В науке принято искать слои или иерархии для использования в образовании и на практике, потому что они могут помочь в понимании анатомической структуры. Эта тенденция появилась в разработке программного обеспечения в проектировании операционной системы, разработке языка программирования, разработке приложений, а теперь и в дизайне AI. По мере развития этих технологических областей, тенденция фактически отходит от чисто ориентированного на слой или иерархического дизайна до более свободной сети взаимосвязанных частей. Простота желательна, но сложность иногда требуется.

Имитация интеллекта является сложной задачей, и, поскольку простота, потерпевшая неудачу в первые полвека попыток создания интеллектуальных цифровых систем, ясно, что рабочие решения потребуют сложности и, следовательно, значительного опыта.

Разумно предположить, что нет никаких ограничений, направляющих эволюцию человеческого интеллекта в направлении структуры, характеризуемой прежде всего слоем или иерархической структурой. Эволюционные процессы не обращают внимания на простоту в целях облегчения академического обучения. В экспрессии генов ДНК или в способах, которыми нейроны растут на эмбрионе или на более поздних стадиях, нет ничего, что могло бы навязать такие правила простоты в отношении структуры или функции.

Насколько сложны выражения ДНК, которые приводят к особенностям мозга, которые мы считаем интеллектуальными? Насколько сложны нейронные системы, которые возникают из этих выражений? Некоторые считают, что человечеству придется развиваться, прежде чем человеческий разум сможет имитировать себя. Такая гипотеза может быть верной или ложной. Такое сложно предсказать даже на порядок.

Численный анализ оптимистического прогноза

Ожидание экспоненциального роста было предложено для ожидаемой продолжительности жизни, развернутой емкости солнечной панели в Германии, скорости процессора (количество выполнений команд микропроцессора в секунду), плотности транзисторов («закон» Мура), размера Коммунистической партии и многих других показателей, но, хотя темпы роста в природе и человеческих начинаниях часто бывают экспоненциальными на ранних стадиях, они никогда не оказывались устойчивыми. Скорости роста в течение короткого периода времени становятся приблизительно линейными и становятся более дугообразными по мере приближения к насыщению. От насыщения значения метрики имеют тенденцию уменьшаться и увеличиваться в хаотических припадках и начинаются в течение длительных периодов времени.

В апреле 2005 года Гордон Мур (автор «Закона» Мура) заявил: «[Экспоненциальный рост] не может продолжаться вечно. Характер экспонент заключается в том, что вы их выталкиваете, и в конечном итоге происходит катастрофа». Позже он заявил: «С точки зрения размера [транзисторов] вы можете видеть, что мы приближаемся к размеру атомов, который является фундаментальным барьером».

Важно понимать, что Мур не изобрел закон. Он просмотрел данные за два десятилетия и заметил, что плотность транзисторов была примерно пропорциональна e t , где t - время, прошедшее с момента, когда интегральные схемы впервые достигли массового рынка, а затем предсказал дальнейший экспоненциальный рост на основе данных четких трендов.

Реалистичное Предсказание

Люди никогда не пробовали что-то столь же принципиально пороговое, как создание симуляции себя. Без соответствующего опыта, из которого можно было бы узнать, является ли экспоненциальный рост, линейный рост, арктангенс-рост или какая-либо другая форма наиболее вероятной моделью, наиболее безопасной моделью, вероятно, является та, которую предписал бы Бритва Оккама, - линейное предсказание.

Чтобы сделать какой-либо прогноз, нужно собрать несколько точек данных. Хотя это реалистичный прогноз, он не очень прилежный. Возможно, можно было бы проделать большую работу, чтобы найти модель, которая является более вероятной, чем линейная, разработать систему теории и метрик для определения прогресса в любой момент времени или собрать больше точек данных для определения соответствия наименьших квадратов. Для целей этого ответа мы просто используем две точки данных и делаем линейную экстраполяцию.

В 1660 году Блез Паскаль писал в своих «Пенсе» («Мысли»): «Арифметическая машина производит эффекты, которые ближе к мышлению, чем все действия животных. Но она не делает ничего, что позволило бы нам приписать ей волю, как к животных », поэтому поиск механического моделирования человеческого интеллекта уже начался в то время.

С тех пор программисты разработали код, который реализует ряд человеческих возможностей.

  • Обобщение числовых и логических расчетов (ЦП)
  • Автоматизация делопроизводства
  • Распознавание образов (применяется к письму, речи и сценам)
  • Сходимость на функционально оптимальных схемах (нейронные сети)
  • Применение вероятности к принятию решения (теорема Байеса и т. Д.)
  • Системы правил, способные к совершенству в дискретных играх

Особенности, отсутствующие в современной степени цифрового моделирования интеллекта цифровых систем, важны и многочисленны.

  • Интуиция в перечислении общих проблемных подходов
  • Отличное знание естественного языка
  • Эмоциональная выразительность в искусстве
  • Политическая выразительность в искусстве
  • Хорошо занимаюсь спортом (в роботизированных системах)
  • Делать хорошую работу на работе (учитывая произвольные инструкции)
  • Учимся делать что-то новое на работе
  • Начало проекта без предварительного опыта работы в домене
  • Комплексный редуктивный анализ
  • Комплексное проектирование произвольных физических устройств в соответствии с требованиями)
  • Разработка программного обеспечения (производство программного обеспечения в соответствии с требованиями)
  • Просветленное расширение области исследования
  • Идентификация уловки в реальном времени
  • Эмоциональная близость
  • Сострадание и сочувствие
  • Комплексная самооценка
  • Разработка новых областей математики для доказательства гипотезы
  • Иди в класс и узнай больше
  • Выбирайте книги и статьи по желаемому пути обучения и читайте их
  • Другие возможности в этом направлении

Учитывая, что этот список сокращен, и эти элементы, которые еще не были достигнуты в программном обеспечении, не являются настолько механически описываемыми на естественном языке, как те, которые уже были успешно запрограммированы, мы можем быть относительно уверены, что в 2017 году у нас есть цифровые системы, которые достигли только доля широты возможностей полного набора, которую люди ожидают от человека, не называя человека умственно отсталым. Судя по списку достижений, компьютерное программное обеспечение моделирует не более 10% того, что делают умные люди.

Без какой-либо причины полагать, что скорость открытия будет снижаться или увеличиваться (несмотря на утверждения, что человеческое продвижение было экспоненциальным 1 ), простое линейное приближение помещает относительно полный электронный мозг на горизонте для 5587 года.

Дуглас Дасеко
источник