В какой степени «продвинутая математика» необходима / полезна в исследованиях ИИ?

19

В настоящее время я изучаю математику. Однако я не думаю, что хочу стать профессиональным математиком в будущем. Я подумываю применить свои знания математики для исследований в области искусственного интеллекта. Однако я не уверен, сколько курсов по математике мне следует пройти. (И каким курсам по теории КС я должен следовать.)

Из Quora я узнал, что предметы линейной алгебры, статистики и выпуклой оптимизации наиболее актуальны для машинного обучения (см. Этот вопрос). Кто-то еще упомянул, что изучение линейной алгебры, вероятности / статистики, исчисления, базовых алгоритмов и логики необходимо для изучения искусственного интеллекта (см. Этот вопрос).

Я могу узнать обо всех этих предметах в течение первых полутора лет обучения математике в нашем университете.

Мне было интересно, хотя, есть ли некоторые старшекурсники даже по математике уровня магистратуры, которые полезны или даже необходимы для изучения искусственного интеллекта. Как насчет ODE, PDE, топологии, теории мер, линейного анализа, анализа Фурье и анализа на многообразиях?

Одной из книг, которая предполагает, что для изучения искусственного интеллекта полезна некоторая достаточно продвинутая математика, является « Теория паттернов: стохастический анализ сигналов реального мира » Дэвида Мамфорда и Агнес Дезольнё (см. Эту страницу). Он включает главы о цепях Маркова, кусочно-гауссовых моделях, полях Гиббса, многообразиях, группах Ли и алгебрах Ли и их приложениях к теории образов. Насколько эта книга полезна в исследованиях ИИ?

Макс Мюллер
источник
22
За два с лишним года на этом сайте я видел более полудюжины вопросов типа "для чего мне нужна математика ...". Que ответы, которые читаются как содержание Принстонского компаньона по математике. 1) ИИ - огромное поле, математика, используемая в его подполях, представлена ​​во всех видах; 2) Пройдите базовые курсы по математике, выберите более продвинутые курсы на основе интереса; 3) Исследуйте ИИ, найдите то, что вам нравится, найдите, что там используется; 4) Мы не можем априори знать, какая математика будет полезна для той или иной задачи.
Сашо Николов

Ответы:

57

Я не хочу звучать снисходительно, но математика, которую вы изучаете на курсах бакалавриата и даже магистратуры, не продвинута. Это основы . Название вашего вопроса должно звучать так: Нужна ли / полезна ли «базовая» математика в исследованиях ИИ? Таким образом, сожрать столько, сколько вы можете, я никогда не встречал ученого, который жаловался на знание слишком большого количества математики, хотя я встречал многих, кто жаловался на то, что они не знали этого достаточно. Я помню, как помогал своему аспиранту в ИИ понять алгоритм в стиле ранга страницы. Для меня это была просто какая-то довольно простая линейная алгебра, но он страдал, потому что не знал, что такое собственные значения и собственные векторы. Представьте, что могли бы сделать люди ИИ, если бы они действительно знали много математики!

Я преподаю на математическом факультете и регулярно получаю запросы от моих коллег по CS, чтобы они рекомендовали основные предметы по математике для кандидатов наук, потому что они предпочитают студентов по математике. Видите ли, математику очень трудно выучить самостоятельно, но большинство аспектов информатики - нет. Я знаю, я был математиком, который поступил в аспирантуру CS. Конечно, я был «позади» в знании операционных систем (несмотря на то, что имел приличные знания Unix и VMS), но я был далеко впереди в «теории». Это не симметричная ситуация.

Андрей Бауэр
источник
6
Теория меры и теория вероятностей являются основой всех вероятностных рассуждений. топология стала очень важной для анализа топологических данных. Фурье-анализ важен для теории обучения (он используется для понимания чувствительности функций и сложности их изучения), а многоуровневое обучение требует глубокого понимания геометрии многообразия.
Суреш Венкат
2
@MaxMuller: И чтобы продолжить список, теория групп и алгебраика (например, алгебры Ли) широко используются в распознавании образов в теории декомпозиции изображений, где топология крайне необходима (и существует глубокая связь между алгебрами Ли и многообразиями, которые вам необходимо учиться по пути). Такие книги, как «Основы распознавания образов» Моники Павла, даже познакомят вас с теорией категорий и ее применением, что также чрезвычайно важно в искусственном интеллекте, так как используется в основах формальных языков и теории доказательств (которые могут быть теорией рассуждений) ...
ex0du5
1
Прошедшие курсы Grad уровня интро, математика узнать все их математику самостоятельно (или в читательских группах и семинарах) .. это не все , что трудно , если у вас есть какое - то основание ... хорошо, это может быть трудно, но не невозможно.
Сашо Николов
1
Макс, я также преподаю айкидо. Я не помню ни одного ученика айкидо, спрашивающего: «Почему я должен изучать основы (как падать, как двигаться с линии атаки)?» Иногда вам нужно немного поверить, что ваши учителя знают, что они делают. Однако я буду первым, кто признает, что мы преподаем много дерьма, особенно в средних школах и начальных школах, где математике преподают так, как если бы целью было подавить любопытство учащихся. Но в вашем случае предметы, которые вы перечислили, они не дерьмо. Доверьтесь мне.
Андрей Бауэр
13
И еще один комментарий. Если вы изучите только математику, которая уже доказала свою полезность в некоторой области КС, у вас никогда не будет возможности применить новую математику. Вы всегда будете позади. Наука - это искусство, а не работа с 9 до 5. Если вы спросите меня «должен ли я изучать физику, я хочу попасть в ИИ», я скажу «абсолютно так!» И если вы спросите: «Должен ли я изучать социологию, я хочу попасть в ИИ», мой ответ останется прежним.
Андрей Бауэр
6

Макс, вот (обязательно) частичный список:

Базовая линейная алгебра и вероятность необходимы повсеместно. Я полагаю, вам не нужны ссылки для этого.

Насколько мне известно, анализ Фурье был использован в некоторых исследованиях, связанных с теорией обучения. Проверьте эту бумагу , например.

Концепция коллективного обучения становится популярной, и вы можете начать смотреть на работы Михаила Белкина и Партхи Нийоги. Это направление работы требует понимания различных концепций, связанных с многообразиями и римановой геометрией.

Есть еще один аспект машинного обучения, который имеет более глубокие корни в статистике, а именно, информационная геометрия. Эта область связана с различными понятиями римановой геометрии, теории информации, информации Фишера и т. Д. Кузина такого рода исследований может быть найдена в алгебраической статистике, которая представляет собой возникающую область с большим потенциалом.

Сумио Ватанабе, исследовал другую границу, а именно, существование особенностей в моделях обучения и как применять глубокие результаты разрешений из алгебраической геометрии для решения многих вопросов. Результаты Ватанабэ в значительной степени основаны на знаменитой работе Хейсуке Хиронаки, которая принесла ему медаль Филдса.

Я предполагаю, что я опускаю много других областей, которые требуют относительно тяжелой математики. Но, как отметил Андрей, большинство из них, вероятно, не лежат на границах математики, а являются относительно более старой и устоявшейся областью.

В любом случае, однако, я полагаю, что нынешнее состояние ИИ, которое вошло в массовые вычисления, такие как системы рекомендаций в Amazon или библиотеки машинного обучения, найденные в Apache Mahout, не требуют какой-либо сложной математики. Я могу ошибаться

Арнаб
источник
2

Зависит от вашего определения продвинутого, и какой ИИ вы хотите изучать.

Многие проблемы в ИИ доказуемо трудноразрешимы - оптимальные решения POMDP доказуемо NP-завершены, оптимальные решения DEC-POMDP доказуемо NEXP-завершены и т. Д. Таким образом, в отсутствие некоторого неожиданного прорыва в теории сложности, чем больше известно об алгоритмах аппроксимации и их теоретические основы, тем лучше. (В дополнение к теории меры и т. Д. Необходимо было по-настоящему понять байесовскую вероятность, лежащую в основе модели POMDP.)

Многоагентный искусственный интеллект, в частности, пересекается с теорией игр; поэтому знание теории игр полезно, что, в свою очередь, зависит от топологии, теории мер и т. д. И также многие проблемы в теории игр неразрешимы. Некоторые из них даже трудно поддаются аппроксимации, и даже понимание того, что можно с пользой приблизиться, требует значительных математических усилий.

(Я отмечаю, что теоретики игр в течение последних нескольких лет довольно неплохо работали в области Нобелевской экономики, и это в значительной степени математический характер. Я предсказываю, что через двадцать с лишним лет теоретики современных алгоритмических игр будут примерно такими же позиция.)

Новак
источник
1

Математика, участвующая в искусственном интеллекте, не продвинута, и преподается на уровне старшекурсника. Алгоритмы обучения и вывода искусственного интеллекта находятся в области передовых компьютерных наук.

Это немного словесная игра. Некоторая история также должна быть включена в исследование ИИ.

Например, в текущей номенклатуре Deep Learning, похоже, является ключевым трендом в AI.

Глубокое обучение - это то, что раньше называлось искусственными нейронными сетями (ANN), такими как модель обратного распространения перцептрона в сети Хинтона (BACKPROP) и тому подобное.

Математика, связанная с ANN BACKPROP (например), по сути является производным исчислением для обучения и матричной алгеброй для вывода.

Новый аспект глубокого обучения - физическое разделение алгоритмов обучения и логического вывода. Процессоры все еще используются для обучения, но теперь графические процессоры используются для вывода.

Например, матрицы ANN обучаются (взвешиваются) путем обратного распространения ошибок с использованием исчисления корректирующих производных. Это лучше всего подходит для процессоров и должно выполняться только один раз за развертывание ANN.

Затем ANN развертывается в высокопараллельной архитектуре графического процессора. Математика прямого вывода включает в себя интенсивную матричную алгебру, для которой предназначены графические процессоры.

Это повышает производительность развернутой сети ANN на несколько порядков по сравнению с предыдущими развертываниями на базе ЦП и может быть более эффективно масштабировано для любого количества выделенных графических процессоров.

Такие компании, как Nvidia и AMD, в настоящее время продвигают чипсеты очень высокого класса для GPU как Deep Learning Machines. Термин GPU всегда был немного неправильным, поскольку они на самом деле являются параллельными процессорами общего назначения. Например, графические процессоры также иногда называют Bitminers в приложениях цепочки блоков.

То, что было старым, теперь новое. Математика не изменилась, только терминология компьютерных наук (в основном из-за давления маркетинга).

Термин ИИ всегда считался чем-то вроде темной лошади. Глубокое обучение теперь является политически корректным и дружественным рынку термином.

Birkensocks
источник
2
Предыдущий ответ уже дал контрпримеры к вашей претензии в первом предложении. (Есть и много других.) Читали ли вы предыдущие ответы перед публикацией? Возможно, вы захотите изменить этот ответ, чтобы сузить свои претензии.
DW
2
Ваше утверждение, что «процессоры все еще используются для обучения [глубокие сети], но теперь графические процессоры используются для вывода», вводит в заблуждение (если не неверно). Все тренируют современные нейронные сети на графических процессорах. Большинство людей также развертывают их на графических процессорах, но некоторые среды развертывания (например, некоторые мобильные телефоны) все еще используют процессоры.
Майк
Я согласен с Майком. «Графические процессоры используются для обучения, а процессоры для вывода» менее корректно, чем говорить, что «Процессоры используются для обучения, а графические процессоры для вывода»
ASDF
@MikeIzbicki Конвейерные архитектуры, такие как CUDA, OpenCL и т. Д., Необходимы для обучения глубокому обучению, которое в значительной степени опирается на ядра ЦП для исправления ошибок. Для конвейеров вывода требуются только ядра ЦП, чтобы питать и собирать ядра ГП. Целью является мощность и тепловая эффективность, поэтому баланс между основными типами меняется между обучением и выводом. Что я и сказал.
Birkensocks
-1

ИИ - удивительно широкое поле с широким спектром возможных маршрутов. Некоторые чрезвычайно математичны, некоторые едва касаются математики. Другие уже дали хорошие ответы на более математические подходы. Из предметов, которые вы указали

«Линейная алгебра, вероятность / статистика, исчисление, основные алгоритмы и логика»

-Вы действительно нуждаетесь или будете пользоваться всеми из них. Многие подходы по крайней мере частично напрямую основаны на вероятности и статистике - эвристика, нейронные сети, генетические алгоритмы, нечеткая логика. Исчисление одинаково полезно - в искусственном интеллекте или в общей вычислительной науке вы найдете его почти везде. Линейная алгебра - это то, что вам определенно нужно.

Двумя наиболее важными предметами с точки зрения CS / AI являются алгоритмы и логика, алгоритмы являются настоящим сердцем вычислительной науки, а логика является базовым «языком» алгоритмов. Ключом к обучению алгоритмов является обучение программированию, мастерство а практика базового программирования - одна из важнейших основ почти всех предметов информатики или искусственного интеллекта. Программирование также является навыком, который университеты не всегда особенно хороши в преподавании. Логика также очень важна для большинства отраслей ИИ; Булева логика, исчисление предикатов, символическая логика, основополагающие теории перестановок, иерархия проектирования, рекурсия, конечные автоматы, машины Тьюринга, проектирование ЦП и т. Д. Здесь мы действительно отходим от математики к компьютерной науке.

Расширение моей области математики «Сильный ИИ» играет основную, но абсолютно важную роль. Очень хорошее понимание основ математики, вероятно, важнее, чем высшая математика, но на самом деле все, что вы берете, может быть полезным. Настоящая проблема в зарождающемся поле, таком как Сильный ИИ, заключается в том, что все находится в воздухе, и поэтому поле находится в постоянном движении.
В число потенциально полезных предметов входят нейронные сети, генетические алгоритмы, неврология, генетика, психология, кибернетика и робототехника, теория трехмерной графики, теория обработки изображений, дизайн компьютерных игр, философия, теория искусства, цифровая электроника, теория лингвистики. В области Как это чтение является одним из самых важных способов обучения. Пара книг, которые послужили для меня отправной точкой, были - «Императоры нового разума» Роджера Пенроуза, «Глаз и мозг» Р.Л. Грегори, но на самом деле идеи могут прийти практически из любого места

Роберт Люсьен Хоу
источник