Как обрабатывать недопустимые движения в обучении подкреплению?

Я хочу создать ИИ, который может играть пять в ряд / гомоку. Как я уже упоминал в названии, я хочу использовать для этого обучение с подкреплением.

Я использую метод градиента политики , а именно REINFORCE, с базовым уровнем. Для приближения значения и функции политики я использую нейронную сеть . Имеет сверточные и полностью связанные слои. Все слои, кроме выходных, являются общими. Слой вывода политики имеет выходной блок $8 \times 8=64$ (размер платы) и softmax на них. Так что это стохастик. Но что, если сеть выдает очень высокую вероятность неверного перемещения? Неверный ход - это когда агент хочет проверить квадрат, в котором есть один «Х» или «О». Я думаю, что это может застрять в этом состоянии игры.

Не могли бы вы порекомендовать какое-либо решение для этой проблемы?

Я предполагаю использовать метод актер-критик . За недействительный ход мы должны дать отрицательное вознаграждение и передать ход противнику.

Просто игнорируйте неверные ходы.

Для исследования вполне вероятно, что вы не просто выполните ход с наибольшей вероятностью, а вместо этого выберете ходы случайным образом на основе выведенной вероятности. Если вы наказываете только незаконные ходы, они по-прежнему сохраняют некоторую вероятность (хотя и небольшую) и, следовательно, будут выполняться время от времени (хотя и редко). Таким образом, вы всегда будете иметь агента, который иногда делает незаконные ходы.

Для меня имеет смысл просто установить вероятности всех незаконных ходов в ноль и перенормировать выходной вектор, прежде чем выбрать свой ход.

Обычно методы softmax в методах градиента политики, использующих линейную функцию приближения, используют следующую формулу для расчета вероятности выбора действия $a$ . Здесь вес $\theta$ , и функция $\phi$ является функцией текущего состояния $s$ и действием из множества действий $A$ .

Чтобы исключить незаконные шаги, можно ограничить набор действий только теми, которые были законными, следовательно, $Legal(A)$ .

В псевдокоде формула может выглядеть так:

action_probs = Agent.getActionProbs(state)
legal_actions = filterLegalActions(state, action_probs)
best_legal_action = softmax(legal_actions)

Независимо от того, используется ли линейное или нелинейное приближение функции (ваша нейронная сеть), идея состоит в том, чтобы использовать только законные шаги при вычислении вашего softmax. Этот метод означает, что агент будет выдавать только действительные ходы, что хорошо, если вы захотите позже изменить свою игру, и что разница в значении между ограниченным выбором действий будет легче различить агентом. Это также будет быстрее, поскольку количество возможных действий уменьшается.

ИМХО идея недействительных ходов сама по себе недействительна. Представьте себе размещение "X" в координатах (9, 9). Вы можете считать это неверным ходом и дать ему отрицательное вознаграждение. Абсурд? Конечно!

Но на самом деле ваши недействительные ходы - просто пережиток представления (что само по себе просто и хорошо). Лучшее из них - полностью исключить их из любых вычислений.

Это становится более очевидным в шахматах:

• В позиционном представлении вы можете рассмотреть ход a1-a8, который относится к игре, только если в нем есть Ладья или Королева a1(и некоторые другие условия выполняются).

• В другом представлении вы могли бы рассмотреть ход Qb2. Опять же, это может или не может принадлежать игре. Если у текущего игрока нет королевы, то, конечно, нет.

Поскольку недействительные ходы связаны с представлением, а не с игрой, они не должны рассматриваться вообще.

Недавно я столкнулся с похожей проблемой с Сапер.

Я решил это путем полного игнорирования незаконных / недействительных ходов.

1. Используйте Q-сеть, чтобы предсказать Q-значения для всех ваших действий (действительных и недействительных)
2. Предварительно обработайте значения Q, установив для всех недопустимых ходов значение Q, равное нулю / отрицательному числу (зависит от вашего сценария)
3. Используйте политику по вашему выбору, чтобы выбрать действие из уточненных Q-значений (например, жадный или Больцмана)
4. Выполните выбранное действие и возобновите логику DQN.

Надеюсь это поможет.