Теоретические вопросы о машинном обучении, особенно теория компьютерного обучения, в том числе теория алгоритмического обучения, обучение PAC и байесовский вывод
Мой доктор философии в чистой математике, и я признаю, что я не знаю много (то есть ничего) о теоретической CS. Однако я начал изучать неакадемические варианты своей карьеры и, знакомясь с машинным обучением, наткнулся на утверждения типа «Никто не понимает, почему нейронные сети работают хорошо»,...
Я преподаю курс продвинутых алгоритмов и хотел бы включить некоторые темы, связанные с машинным обучением, которые будут интересны моим студентам. В результате я хотел бы услышать мнение людей о наиболее интересных / лучших алгоритмических результатах в области машинного обучения. Потенциально...
Мы знаем, что (см., Например, теоремы 1 и 3 из [1]), грубо говоря, при подходящих условиях функции, которые могут быть эффективно вычислены машиной Тьюринга за полиномиальное время («эффективно вычисляемое»), могут быть выражены полиномиальными нейронными сетями. с разумными размерами, и, таким...
Давайте посмотрим на будущее через 30 лет. Давайте будем оптимистичными и предположим, что области, связанные с машинным обучением, продолжают развиваться так же быстро, как мы видели за последние 10 лет. Это было бы здорово, но какова будет роль традиционной алгоритмики в таком будущем? Здесь под...
Во время тестирования свойств графов, алгоритм запрашивает целевой график на наличие или отсутствие ребер и потребностей , чтобы определить , либо имеет ли целевые определенное свойство или εε\epsilon -far от того , свойства. (Алгоритм можно попросить преуспеть с 1-сторонней или 2-сторонней...
Вот абстракция проблемы онлайн обучения / бандита, над которой я работал летом. Я не видел подобной проблемы раньше, и это выглядит довольно интересно. Если вы знаете о любой связанной работе, я был бы признателен за ссылки. Проблема Параметр для многоруких бандитов. У тебя есть N рук. У каждой...
В настоящее время я изучаю математику. Однако я не думаю, что хочу стать профессиональным математиком в будущем. Я подумываю применить свои знания математики для исследований в области искусственного интеллекта. Однако я не уверен, сколько курсов по математике мне следует пройти. (И каким курсам по...
Можно ли алгоритмически проверить, является ли вычисляемое число рациональным или целым? Другими словами, возможно ли для библиотеки, которая реализует вычислимые числа, предоставлять функции isIntegerили isRational? Я предполагаю, что это невозможно, и что это как-то связано с тем, что невозможно...
Мы знаем (на данный момент около 40 лет, спасибо Адлеману, Беннету и Джиллу), что включение BPP P / poly и еще более сильное BPP / poly P / poly имеют место. «/ Poly» означает, что мы работаем неравномерно (отдельная схема для каждой входной длины ), в то время как P без этой «/ poly» означает, что...
Фон Функции в могут быть изучены PAC в квазиполиномиальном времени с помощью классического алгоритма, который требует случайно выбранных запросов, чтобы изучить схему глубины d [1]. Если нет факторинг-алгоритма , то это оптимально [2]. Конечно, на квантовом компьютере мы знаем, как учитывать,...
Изменить: Поскольку я не получил никаких ответов / комментариев в течение недели, я хотел бы добавить, что я рад услышать что-нибудь о проблеме. Я не работаю в этом районе, поэтому, даже если это простое наблюдение, я могу не знать его. Даже комментарий типа «Я работаю в этом районе, но я не видел...
Из теоремы универсального приближения известно, что нейронная сеть с хотя бы одним скрытым слоем и произвольной функцией активации может аппроксимировать любую непрерывную функцию. Какие есть еще модели, которые также являются универсальными аппроксиматорами...
Было доказано, что распространение убеждений является очень мощным методом исследования вероятностных графических моделей. Однако я ничего не знаю о BP, сравнимом с методами MCMC, где у нас могут быть полностью полиномиальные схемы рандомизированной аппроксимации (FPRAS) для # P-полных задач. Может...
Генетические алгоритмы развиваются в меньшем количестве поколений с большей популяцией, но также требуют больше времени для вычисления поколения. Существуют ли какие-то руководящие принципы для уравновешивания этих двух факторов, чтобы как можно скорее найти жизнеспособное решение? Кроме того, это...
Я поставил перед своими учениками задачу нахождения треугольника, согласующегося с набором точек в R 2 , помеченных как ± 1 . (Треугольник Т является согласуется с меченым образцом , если Т содержит все положительные и ни один из негативных моментов, по предположению, образец допускает по меньшей...
Алгоритм тестирования распределения для свойства распределения P (которое является лишь некоторым подмножеством всех распределений по [n]) разрешает доступ к выборкам в соответствии с некоторым распределением D и должен решить (whp), если или ( здесь, как правило, расстояние). Наиболее...
Я задал этот вопрос в перекрестной проверке вопросов и ответов, но, похоже, он связан с CS гораздо больше, чем со статистикой. Можете ли вы привести примеры алгоритмов машинного обучения, которые изучают статистические свойства набора данных, а не отдельные наблюдения, то есть используют...
Допустим, у нас есть однослойная прямая нейронная сеть с k входами и одним выходом. Он вычисляет функцию из , довольно легко увидеть, что она имеет по крайней мере ту же вычислительную мощность, что и A C 0 . Просто для удовольствия мы назовем набор функций, вычислимых однослойной нейронной сетью,...
Какие проблемы реального мира были решены с использованием генетического алгоритма? В чем проблема? Какой фитнес-тест используется для решения этой
Справочная информация: В машинном обучении мы часто работаем с графическими моделями, чтобы представить функции плотности с высокой размерностью. Если отбросить ограничение на интеграцию плотности (суммы) в 1, мы получим ненормализованную графо-структурированную энергетическую функцию ....