Каковы математические предпосылки для исследователя ИИ?

12

Каковы математические предпосылки для понимания основной части алгоритмов в искусственном интеллекте и разработки собственного алгоритма?

Пожалуйста, отошлите мне конкретные книги.

sbhusal123
источник

Ответы:

9

Фонд хорошей математики

Начните с обеспечения полной компетенции с промежуточной алгеброй и некоторыми другими основами исчисления и дискретной математики, включая терминологию и основные понятия в этих темах.

  • Бесконечная серия
  • Логические доказательства
  • Линейная алгебра и матрицы
  • Аналитическая геометрия, особенно различие между локальными и глобальными крайностями (минимумы и максимумы), седловыми точками и точками перегиба
  • Теория множеств
  • Вероятность
  • Статистика

Основы кибернетики

Норберт Винер, Кибернетика, 1948, MIT Press, содержит временные ряды и концепции обратной связи с ясностью и командованием, не замеченными в последующих работах; он также содержит введение в теорию информации, начиная с формулы 2 Шеннона для определения количества информации в бите. Это важно для понимания расширения концепции информационной энтропии.

Исчисление

Найдите хорошую книгу по исчислению и убедитесь, что у вас есть четкое представление о теории ключевых слов и их применении в этих категориях.

  • Временная последовательность
  • Бесконечная серия
  • Конвергенция - искусственные сети идеально сходятся к оптимальным в процессе обучения.
  • Частичные дифференциалы
  • Якобианские и гессенские матрицы
  • Многомерная математика
  • Пограничные регионы
  • Дискретная математика

Многое из этого находится в исчислении , Strang, MIT, Wellesley-Cambridge Press . Хотя PDF-файл доступен в Интернете, он является базовым и не очень глубоким. В библиотеке нашей лаборатории есть « Промежуточное исчисление» , Hurley, Holt Rinehart & Winston, 1980 . Он всеобъемлющий и в некоторых отношениях лучше изложен, чем тот, который у меня есть в моей домашней библиотеке, который Принстон использует для второкурсников.

Убедитесь, что вам удобно работать в помещениях за пределами ℝ 2 (за пределами 2D). Например, RNN часто находятся в таких местах, как ℝ 4 thorgh ℝ 7 из-за горизонтального, вертикального, глубины пикселя и размеров кадра фильма.

Конечно математика

К сожалению, ни одна из трех книг, о которых я могу подумать, не имеет всего этого.

  • Направленные графы - изучите это ДО деревьев или контуров (искусственных сетей), потому что это топология надмножества всех этих конфигураций
  • Деревья абстрактных символов (ASTs)
  • Продвинутая теория множеств
  • Деревья решений
  • Марковские цепи
  • Теория хаоса (особенно разница между случайным и псевдослучайным)
  • Теория игр, начиная с фон Неймана и теории игр Моргенштерна , оригинальной работы в этой области
  • Сходимость в дискретных системах, особенно применение теории для насыщения сигнала в целочисленной, фиксированной или арифметике с плавающей точкой
  • Статистические средние, отклонения, корреляция и более прогрессивные понятия энтропии, относительной энтропии и перекрестной энтропии
  • Кривая примерка
  • свертка
  • Вероятность, особенно теорема Байеса
  • Алгоритмическая теория (теоремы Гёделя о неопределенности и полнота Тьюринга)

Химия и Неврология

Хорошо вспомнить химическое равновесие из химии средней школы. Баланс играет ключевую роль в более сложных дизайнах ИИ. Понимание симбиотических отношений между порождающими и дискриминационными моделями в GAN поможет ученику углубить это понимание.

Контрольные функции в биологических системах остаются основным источником доказательств концепции в исследованиях искусственного интеллекта. По мере того, как исследователи становятся более креативными в представлении форм адаптации, которые непосредственно не имитируют какой-либо аспект биологии (на момент написания этой статьи еще далеко), креативность может играть более значительную роль в формулировке целей исследования ИИ.

Несмотря на это, ИИ, вероятно, останется в основном междисциплинарной областью.

FauChristian
источник
2
Некоторые комментарии: 1) Я согласен с тем, что Джон написал в своем ответе, что его ответ касается более общего «ядра», в то время как ваш включает в себя вещи, которые могут быть полезными или могут не зависеть от того, в какую область ИИ кто-то попадает. 2) Многие вещи, которые вы описываете под «математикой средней школы», не являются (обязательно) математикой средней школы, по крайней мере, не в Европе (не знаю о США) В Нидерландах я не получал линейной алгебры, матриц, бесконечных рядов или теории множеств до первого года обучения в университете. Некоторые из них могли появиться раньше, если бы я выбрал другой набор курсов в старшей школе.
Деннис Соемерс
2
3) Функциональный анализ / Теория измерения могут быть полезны для включения в некоторые области. Но, опять же, это очень сильно зависит от того, насколько глубоко вы хотите стать исследователем ИИ. Некоторые исследователи искусственного интеллекта с более теоретической точки зрения найдут почти все эти вещи полезными. Другим исследователям искусственного интеллекта в эмпирической / программной / программной части нужно гораздо меньше. Оба могут все еще вывести очень ценные исследования.
Деннис Соемерс
7

Я работаю профессором и недавно разработал требования по математике для нового специалиста по ИИ, консультируясь со многими моими коллегами из других учреждений.

Другие ответы, особенно @ FauChrisian's, хорошо каталогизируют все конкретные темы, которые могут быть полезны где-то в AI, но не все из них одинаково полезны для понимания основных тем. В других случаях понимание темы, по сути, аналогично пониманию связанных алгоритмов ИИ, поэтому мы обычно просто учим их вместе, а не предполагаем предварительные знания. Например, процессы принятия решений Маркова несложно научить тому, кто уже знает основы теории графов и вероятностей, поэтому мы обычно просто покрываем их, когда преподаем обучение с подкреплением в курсе ИИ, а не как отдельную тему по математике. курс.

Математические требования, на которых мы остановились, выглядят так:

  • Один или два семестра курса по дискретной математике. Это так же важно, чтобы обеспечить удобство с доказательством и математической строгостью, как и с любой конкретной темой в этой области. В основном это просто «фундаментальные» знания, но их кусочки оказываются очень полезными. Комфорт с бесконечным суммированием, основы графов, комбинаторика и асимптотический анализ, возможно, являются наиболее применимыми частями. Мне нравится книга Сюзанны Эпп .

    • Один или два семестровых курса по линейной алгебре, которые полезны по широкому кругу тем в области искусственного интеллекта, особенно машинного обучения и интеллектуального анализа данных. Lay & Lay - хорошая книга, но, вероятно, не самая лучшая. Шилов - это рекомендация Яна Гудфеллоу и других, но я сам не пробовал.

    • Курс по вероятности и, возможно, современный курс по статистике (т.е. с байесовским фокусом). Однако более старый курс статистики или ориентированный на социологов не очень полезен. Мои коллеги-статистики используют Lock5 прямо сейчас и имеют хороший опыт работы с ним.

    • По крайней мере, дифференциальное и интегральное исчисление, и предпочтительно, по крайней мере, частные производные в векторном исчислении, но, возможно, весь курс. Это полезно для оптимизации, машинного обучения и экономических подходов к ИИ. Стюарт - самый распространенный учебник. Он всеобъемлющий и может использоваться для всех трех курсов, но его объяснения не всегда самые лучшие. Я все еще рекомендую это все же.

Это основные темы. Если у вас также нет традиционных знаний в программировании, то хорошим дополнением могут стать курсы по теории графов и основам асимптотической сложности или разработке и анализу алгоритмов. Обычно ИИ происходят из стандартного компьютерного фона, который очень хорошо охватывает все эти вещи.

Джон Дусетт
источник
1
@FauChristian Я думаю, что мы перечислили одни и те же темы: исчисление и конечно математика. Мы оба думаем, что вы должны пройти пару занятий в каждом. Я перечислил статистику и вероятность. Я думаю, что если вы хотите заниматься современной работой в области искусственного интеллекта, вы не добьетесь успеха без этого. Вы перечислили химию и неврологию. Я думаю, что немногие AI'ы считают эти темы необходимыми. Конечно, вы можете пройти через все Рассел и Норвиг без этого. Если вы хотите работать в вычислительной нейробиологии (а не в глубоком обучении), это может быть полезно. Я также сомневаюсь, что вам нужно 16 лет, чтобы внести свой вклад. 5-6 точно, хотя.
Джон Дусетт
1
@FauChristian Это все правда. Я склонен думать, что если вы хотите проводить исследования в большинстве современных лабораторий ИИ, вам все равно понадобится вероятность (по крайней мере, половина работы современного ИИ связана с каким-то видом машинного обучения, а большая часть - с глубоким обучением). , Как правило, аспиранты занимаются исследовательской работой. Большинство из них занимаются исследовательской работой после 1-2 лет обучения в аспирантуре. Отчасти это даже неплохо. У этих людей было всего 4-6 лет формального образования по этому предмету, максимум. Более того, это может сделать вас быстрее или глубже, но там начинается исследовательский потенциал.
Джон Дусетт
3

Что касается простых алгоритмов, таких как Gradient Descent, вам нужно хорошо разбираться в частных производных. Особенно, если вы хотите реализовать нейронные сети. Кроме того, большинство алгоритмов векторизованы для повышения скорости вычислений, поэтому вам нужно быть уверенным в математике. Это подразумевает очень быструю и удобную работу с размерами матриц, размерами продуктов, умножением матриц, транспонированием и так далее. Очень редко вы можете использовать матричное исчисление для непосредственного достижения оптимальных решений, поэтому следует сделать несколько результатов из этой области. Двигаясь дальше, вы должны понимать некоторые функции анализа. это необходимо, чтобы понять, что делают такие функции активации, как sigmoid и tanh, log. Знание вероятностей и ожиданий также действительно полезно. Вы также должны быть ясны с ортогональными векторами и внутренними произведениями.

При этом я бы посоветовал вам освоить базовые исчисления и матричные операции и попробовать изучить концепции ИИ. Если вы не можете понять что-то, изучите математику.

Примечание: опять же, это только для запуска.

Pranav
источник