Геометрия и ИИ

Матрицы, кубы, слои, стеки и иерархии - это то, что мы можем точно назвать топологиями . В этом контексте рассмотрим топологию более высокого уровня геометрического проектирования системы обучения.

По мере роста сложности часто бывает полезно представить эти топологии в виде структур ориентированных графов. Диаграммы состояний и работы Маркова по теории игр - это два места, где обычно используются ориентированные графы. Направленные графы имеют вершины (часто визуализируются как замкнутые фигуры), а ребра часто визуализируются как стрелки, соединяющие фигуры.

Мы также можем представить GAN в виде ориентированного графа, где выходные данные каждой сети управляют обучением другой в состязательной форме. GAN топологически напоминают полосу Мебиуса.

Мы не можем открывать новые проекты и архитектуры, не понимая не только математику сходимости по оптимальному решению или отслеживания одного, но также и топологии сетевых соединений, которые могут поддерживать такую ​​конвергенцию. Это все равно что сначала разрабатывать процессор, представляя, что потребуется операционной системе, прежде чем писать операционную систему.

Чтобы увидеть, какие топологии мы еще НЕ рассматривали, давайте сначала посмотрим, какие из них были.

Шаг первый - Экструзия во втором измерении

В 1980-х годах успех был достигнут благодаря расширению оригинальной конструкции персептрона. Исследователи добавили второе измерение для создания многослойной нейронной сети. Разумная конвергенция была достигнута за счет обратного распространения градиента функции ошибки через градиенты функций активации, ослабленных скоростями обучения и ослабленных другими мета-параметрами.

Шаг второй - добавление размеров к дискретному входному сигналу

Мы видим появление сверточных сетей, основанных на существующих вручную настроенных методах свертки изображений, которые вводят размеры для сетевого входа: вертикальное положение, цветовые компоненты и кадр. Это последнее измерение имеет решающее значение для компьютерной графики, замены лица и других морфологических методов в современном кинопроизводстве. Без этого у нас есть генерация изображения, категоризация и удаление шума.

Шаг третий - стеки сетей

Мы видим, что стопки нейронных сетей появились в конце 1990-х, когда обучение одной сети контролируется другой. Это введение концептуальных слоев, ни в смысле последовательных слоев нейронов, ни в смысле слоев цвета в изображении. Этот тип наложения также не является рекурсией. Это больше похоже на мир природы, где одна структура - это орган внутри другой совершенно другой структуры.

Шаг четвертый - иерархии сетей

Мы видим иерархию нейронных сетей, часто появляющуюся в исследованиях 2000-х и начала 2010-х годов (Laplacian и др.), Которые продолжают взаимодействие между нейронными сетями и продолжают аналогию с мозгом млекопитающих. Теперь мы видим мета-структуру, где целые сети становятся вершинами в ориентированном графе, представляющем топологию.

Шаг пятый - Mdash; Вылеты из картезианской ориентации

Некартово систематически повторяющиеся расположения клеток и связи между ними начали появляться в литературе. Например, калибровочные эквивариантные сверточные сети и икосаэдрический CNN (Тако С. Коэн, Морис Вейлер, Беркай Киканаоглу, Макс Веллинг, 2019) исследует использование схемы, основанной на выпуклом регулярном икосаэдре.

Подведение итогов

Слои имеют обычные функции активации для вершин и матриц затухания, сопоставленные с исчерпывающим набором направленных ребер между соседними слоями [1]. Слои свертки изображения часто находятся в двухмерных вершинных расположениях с кубами ослабления, отображенными в сокращенный набор направленных ребер между соседними слоями [2]. Стеки имеют целые многослойные сети в виде вершин в мета-ориентированном графе, и эти метавершины связаны в последовательности, причем каждое ребро является либо обучающим мета-параметром, либо сигналом подкрепления (обратной связи в реальном времени), либо каким-либо другим элементом управления обучением. , Иерархии сетей отражают идею о том, что можно объединять несколько элементов управления и направлять обучение на более низком уровне, или случай, когда несколькими элементами обучения можно управлять с помощью одной сети супервизора более высокого уровня.

Анализ тенденций в топологиях обучения

Мы можем анализировать тенденции в архитектуре машинного обучения. У нас есть три топологических направления.

• Глубина в измерении причинности - Слои для обработки сигнала, где выход одного уровня активаций подается через матрицу ослабляющих параметров (весов) на вход следующего слоя. По мере установления большего контроля, начиная только с базового градиентного спуска в задней части распространения, можно достичь большей глубины.

• Размерность входного сигнала - от скалярного ввода до гиперкубов (видео имеет горизонтальное, вертикальное, глубину цвета, включая прозрачность, и кадр). Обратите внимание, что это не то же самое, что число входов в смысле персептрона.

• Топологическое развитие. Вышеупомянутые два имеют декартову природу. Размеры добавляются под прямым углом к ​​существующему размеру. Поскольку сети соединены в иерархии (как в лапласовых иерархиях) и полоски Мебиуса в виде кругов (как в GAN), тренды являются топографическими и лучше всего представляются ориентированными графами, где вершины являются не нейронами, а их более мелкими сетями.

Какие топологии отсутствуют?

Этот раздел раскрывает значение заглавного вопроса.

• Есть ли какая-либо причина, по которой несколько метавершин, каждая из которых представляет нейронную сеть, могут быть организованы таким образом, чтобы несколько метавершин супервизора, вместе, могли контролировать несколько метавершин сотрудников?
• Почему обратное распространение сигнала ошибки является единственным нелинейным эквивалентом отрицательной обратной связи?
• Разве нельзя использовать сотрудничество между мета-вершинами, а не надзором, где есть два обратных ребра, представляющих элементы управления?
• Поскольку нейронные сети используются в основном для изучения нелинейных явлений, почему запрещается использование других типов замкнутых путей при проектировании сетей или их взаимосвязи?
• Есть ли причина, по которой звук не может быть добавлен к изображению, чтобы видеоклипы можно было автоматически классифицировать? Если это так, является ли сценарий возможным извлечением фильма и может ли использоваться состязательная архитектура для создания сценариев и производства фильмов без системы киностудии? Как эта топология будет выглядеть как ориентированный граф?
• Хотя ортогонально расположенные ячейки могут имитировать произвольную правильную компоновку неортогональных вершин и ребер, эффективно ли это делать в компьютерном зрении, где угол наклона камеры, отличный от плюс или минус 90 градусов, является обычным явлением?
• Эффективно ли размещать отдельные ячейки в сетях или сети ячеек в системах ИИ, ортогонально в обучающих системах, которые нацелены на понимание и сборку естественного языка или искусственное познание?

Заметки

1. Искусственные ячейки в MLP используют арифметические передаточные функции с плавающей или фиксированной запятой, а не электрохимические импульсные передачи, основанные на пороге, основанном на амплитуде и близости. Они не являются реалистичными симуляциями нейронов, поэтому называть вершины нейронами было бы неправильно для такого анализа.

2. Корреляция характеристик изображения и относительных изменений между пикселями в непосредственной близости намного выше, чем у удаленных пикселей.

Топология - это изучение геометрических форм, дифференцированных по пересечению и бифуркации. Термин используется для графических аспектов сетевых архитектур. Уместно использовать его, чтобы рассмотреть расширение аналогии с нейронной сетью, при том понимании, что ANN не очень похожи на биологические нейроны по способу их активации. Из-за этого трудно ограничить обсуждение топологическими проблемами при рассмотрении того, что в значительной степени не изучено.

Парадигма сотрудника супервизора - это то, что используют стеки и лапласовские иерархии, тогда как парадигма соавтора - это то, что используют состязательные сети. Хотя обратная связь отрицательна, порождающая модель (G) и дискриминационная модель (D) на самом деле находятся в сотрудничестве для достижения цели, поскольку адвокат дьяволов используется в дискурсе, чтобы сходиться на истинах. Конечно, появятся и другие проекты, в которых вершины не являются искусственными нейронами, а целыми элементами ANN или CNN.

Парадигмы «учитель-ученик» и «супервайзер-работник», вероятно, только две из многих. Чтобы симулировать нейронную пластичность, необходимо изучить парадигмы садоводов, ремонтников и инженеров.

Обратное распространение сигнала ошибки не является единственным нелинейным эквивалентом отрицательной обратной связи. Круговая топология GAN также является отрицательной обратной связью, как вы указали при использовании аналогии с полосой Мёбиуса. Там должно быть больше мысли в этом направлении, хотя.

Сотрудничество между мета-вершинами интересно. Должно ли сотрудничество быть притворным противником? Может ли положительный отзыв быть полезным в топологиях искусственного интеллекта? Владельцы ферм и водители грузовиков, занимающихся дистрибуцией продуктов, покупают продукты в супермаркетах, которые находятся в конце цепочки процессов, частью которых является их роль. Большие циклы в представлении ориентированных графов топологий и конструкций, вероятно, могут использовать положительную или отрицательную обратную связь с пользой.

Искусственное производство кинофильмов может появиться в результате исследований, таких как работа Корнелла U по созданию видео из текста - Ли, Мин, Шен, Карлсон и Карин .

Край хаоса и машинного обучения; и преимущества в принятии решений

Прямой ответ на ваш вопрос : -

Край хаоса

Объяснение мирян : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

О чем этот ответ : -

Грань хаоса в теории хаоса может быть важной темой исследований в области искусственного интеллекта.

Какова грань хаоса? Предполагается, что это поле существует в самых разных системах. У него много применений в таких областях. Это поле является переходной зоной между взаимодействием порядка и беспорядка.

Я заинтересован в пересечении между ИИ и теорией хаоса. Край хаоса служит потенциальной топологией, которая в значительной степени не изучена в машинном обучении.

Это богатая область, которая предлагает большой потенциал. Это, в основном, неизвестно и недооценено.

В этом ответе я расскажу о преимуществах анализа такой области. Преимущества проявляются в принятии решений, таких как оптимальный способ инвестирования и управления рабочей силой в организации.

Техническое объяснение : -

«Матрицы, кубы, слои, стеки и иерархии - это то, что мы могли бы точно назвать топологиями. Рассмотрим топологию в этом контексте как геометрический дизайн более высокого уровня системы обучения». ~ Дуглас Дасеко, Вступительный постер

Сравните это с выдержкой из реферата ниже:

«... Благодаря динамическому анализу стабильности на различных моделях компьютерного зрения мы находим прямые доказательства того, что оптимальная производительность глубоких нейронных сетей достигается вблизи точки перехода, разделяющей стабильные и хаотические аттракторы. ...» Фенг, Лин и Чой Хенг Лай. - «Оптимальный машинный интеллект на краю хаоса». Препринт arXiv arXiv: 1909.05176 (2019).

-

«Граница хаоса - это переходное пространство между порядком и беспорядком, которое, как предполагается, существует в самых разных системах. Эта переходная зона является областью ограниченной неустойчивости, которая порождает постоянное динамическое взаимодействие между порядком и беспорядком».

Несмотря на то, что идея края хаоса абстрактна и неинтуитивна, она имеет множество применений в таких областях, как экология, управление бизнесом, психология, политология и другие области социальной науки. Физики показали, что адаптация к краю хаоса происходит практически во всех системах с обратной связью. «Участники Википедии». - «Край хаоса». Википедия, Свободная энциклопедия . Википедия, Свободная энциклопедия, 10 сентября 2019. Веб. 22 сентября 2019 г.

Преимущества изучения такой области : -

«[...] Стратегия, протокол, команды, отделы, иерархии. Все тщательно организовано для оптимальной работы.

Или, по крайней мере, так и должно быть. Но когда мы применяем взгляд теоретика сложности на бизнес, которым мы занимаемся, мы видим, что все гораздо сложнее. Мы больше не рассматриваем организации как организации или отделы как отделы, а как сложные адаптивные системы, наиболее полезные для понимания в трех частях:

ЗАНЯТОСТЬ

Использование умственных моделей для принятия лучших решений на работе Профессиональная жизнь полна трудных решений. Готов ли я к этой акции? Кого из моих менеджеров я должен выбрать в качестве наставника? Что я должен есть на обед? Не существует надежного метода последовательного выбора наилучшего курса действий - даже лучшие из нас допускают ошибки, но при наличии правильных инструментов можно максимально увеличить шансы на успех.

Во-первых, сотрудники (по сложности говорят: гетерогенные агенты). У каждого сотрудника есть разные и развивающиеся правила принятия решений, которые отражают окружающую среду и пытаются предвидеть изменения в ней. Во-вторых, сотрудники взаимодействуют друг с другом и структуры, которые создают эти взаимодействия - ученые называют это появление. Наконец, возникает всеобъемлющая структура, которая ведет себя как система более высокого уровня со свойствами и характеристиками, отличными от свойств ее основных агентов. Эта последняя часть является причиной, по которой мы часто говорим: «Целое больше, чем сумма его частей».

Учитывая стремление менеджеров к контролю, сложность далека от удобной реальности. Вместо того чтобы столкнуться с жестокой реальностью системы, над которой они работают, менеджеры часто работают в бункерах, создавая модели и механизмы, которые навязывают видимость уверенности. При этом они помогают себе и своим коллегам принимать решения с меньшим количеством переменных. Достижение целей, поставленных этими моделями, создает свидетельство успеха, но это упрощенный успех, который может не соответствовать интересам системы в целом.

Например, установление жесткого приоритета для максимизации прибыли акционеров проясняет ситуацию для работников: в случае трудного компромисса предпочтительным вариантом является вариант, который поддается немедленной прибыльности. Но, конечно, мы все понимаем, что сокращение расходов и инвестиций для повышения краткосрочной прибыли может нанести ущерб долгосрочному здоровью компании. Только принимая сложность, мы можем эффективно сбалансировать конкурирующие ценности и приоритеты (и влияние решений на всех из них). [...] "- Фресно, Бланка Гонсалес дель.« Приказ из хаоса: как применить теорию сложности на работе: BBVA ». НОВОСТИ BBVA , BBVA, 4 декабря 2017 г., < www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.

Дальнейшее чтение : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-artificial-intelligence-in-the-future-operating-environment/ )
• ( https://scitechdaily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https://www.technologyreview.com/s/602234/how-the-matmatics-of-algebraic-topology-is-revolutionizing-brain-science/ )

Источники и ссылки : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self-organized_criticality )

Это может быть не по теме. Если это так, удалите его.

В электронных схемах у нас есть логические блоки - генераторы, триггеры, ячейки памяти, селекторы, alus, fpus, шины и многие другие чипы. И из этого у нас есть компьютеры, а со следующего уровня у нас есть компьютерные сети ...

Для машинного обучения у нас должна быть похожая организация вещей, но если у нас есть 64-битные компьютеры, наши нейронные сети могут иметь более сложные входы / выходы и больше логических функций, чем определено в любом языке программирования.

Итак, для X входных битов у нас есть X ^ (2 ^ 2) состояний для одного выходного бита и 2 ^ X битов для выбора необходимой логической функции.

Итак, мы должны последовательно изучить эти функции, выделив необходимые, как первые opencv-фильтры, так и для примеров.