Для вопросов, связанных с обучением, контролируемых внешним положительным подкреплением или отрицательным сигналом обратной связи или и тем, и другим, когда изучение и использование того, что уже изучено, происходит одновременно.
В чем разница между безмодельным и основанным на моделях обучением с подкреплением? Мне кажется, что любой учащийся без модели, обучающийся методом проб и ошибок, может быть переименован в основанный на модели. В таком случае, когда ученики без моделей будут...
Насколько я понимаю, Q-learning и градиенты политики (PG) - это два основных подхода, используемых для решения проблем RL. В то время как Q-Learning стремится предсказать вознаграждение за определенное действие, предпринятое в определенном состоянии, политические градиенты непосредственно...
Я хочу создать ИИ, который может играть пять в ряд / гомоку. Как я уже упоминал в названии, я хочу использовать для этого обучение с подкреплением. Я использую метод градиента политики , а именно REINFORCE, с базовым уровнем. Для приближения значения и функции политики я использую нейронную сеть ....
Например, заголовок этой статьи гласит: «Пример эффективного критика актера с повторением опыта». Что такое эффективность выборки и как можно использовать выборку важности для ее...
Я изучаю подкрепление обучения и варианты его. Я начинаю понимать, как работают алгоритмы и как они применяются к MDP. Что я не понимаю, так это процесс определения состояний MDP. В большинстве примеров и учебных пособий они представляют собой нечто простое, например квадрат в сетке или что-то...
Есть ли способ научить усиленному обучению в приложениях, отличных от игр? Единственные примеры, которые я могу найти в Интернете, - это игровые агенты. Я понимаю, что VNC контролирует вход в игры через сеть подкрепления. Можно ли настроить это, скажем, с помощью программного обеспечения...
Я смотрел на обучение подкрепления и, в частности, пытался создавать свои собственные среды для использования с OpenAI Gym AI. Я использую агентов из проекта stable_baselines для тестирования с ним. Одна вещь, которую я заметил практически во всех примерах RL, заключается в том, что ни в одной из...
Я кодирую модель обучения подкреплению с агентом PPO благодаря очень хорошей библиотеке Tensorforce , построенной поверх Tensorflow. Первая версия была очень простой, и теперь я погружаюсь в более сложную среду, где не все действия доступны на каждом этапе. Допустим, есть 5 действий, и их...
При разработке решений таких проблем, как «Лунный корабль» в OpenAIGym , обучение с подкреплением является заманчивым средством предоставления агенту адекватного контроля действий для успешного приземления. Но в каких случаях алгоритмы системы управления, такие как ПИД-регуляторы , могли бы...
Алгоритм табличного Q-обучения гарантированно найдет оптимальную QQQ функцию, Q∗Q∗Q^* , при условии, что выполнены следующие условия (условия Роббинса-Монро ) относительно скорости обучения ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)<∞∑tαt2(s,a)<∞\sum_{t} \alpha_t^2(s,...
Я проходил эту реализацию DQN и вижу, что в строке 124 и 125 были инициализированы две разные сети Q. Из моего понимания я думаю, что одна сеть предсказывает соответствующее действие, а вторая сеть предсказывает целевые значения Q для нахождения ошибки Беллмана. Почему мы не можем просто создать...
Как студент, который хочет работать над машинным обучением, я хотел бы знать, как можно начать учебу и как следовать ей, чтобы оставаться в курсе. Например, я готов работать над проблемами RL и MAB, но есть огромная литература по этим темам. Кроме того, эти темы изучаются исследователями из...
Я читал книгу « Усиленное обучение: введение» Ричарда С. Саттона и Эндрю Г. Барто (полный проект, 5 ноября 2017 г.). На странице 271 представлен псевдокод для эпизодического метода градиента политики Монте-Карло. Глядя на этот псевдокод, я не могу понять, почему кажется, что ставка дисконта...
Оптимизация политики в доверенных регионах (TRPO) и Proximal Policy Optimization (PPO) - это два передовых алгоритма градиента политики. При использовании одного непрерывного действия обычно вы используете некоторое распределение вероятностей (например, гауссово) для функции потерь. Черновая...
Является ли оптимальная политика всегда стохастической (то есть, карта от состояний к распределению вероятности по действиям), если среда также стохастическая? Интуитивно понятно, что если среда является детерминированной (то есть, если агент находится в состоянии sss и выполняет действие aaa , то...
В математике оператор слова может относиться к нескольким различным, но связанным понятиям. Оператор может быть определен как функция между двумя векторными пространствами, он может быть определен как функция, в которой домен и кодомен одинаковы, или его можно определить как функцию от функций...
Насколько я понимаю, алгоритм поиска дерева Монте-Карло (MCTS) является альтернативой минимаксному поиску дерева узлов. Он работает, выбирая ход (как правило, тот, у которого больше шансов быть лучшим), а затем выполняя случайную игру на ходу, чтобы посмотреть, каков будет результат. Этот процесс...
В робототехнике, метод обучения подкрепления используется для поиска шаблона управления для робота. К сожалению, большинство методов градиента политики являются статистически необъективными, что может привести робота к небезопасной ситуации, см. Стр. 2 в публикации «Ян Петерс и Штефан Шааль:...
Я изобрел шахматную настольную игру. Я построил двигатель, чтобы он мог играть автономно. Двигатель в основном дерево решений. Он состоит из: Функция поиска, которая на каждом узле находит все возможные законные ходы Функция оценки, которая присваивает числовое значение позиции на доске...
Большинство введений в области MDP и обучения в области подкрепления сосредоточены исключительно на областях, где переменные пространства и действия являются целыми (и конечными). Таким образом, мы быстро знакомимся с Value Iteration, Q-Learning и тому подобным. Однако наиболее интересные...