Что такое «повтор опыта» и каковы его преимущества?

Я читал статью Google DeepMind Atari и пытаюсь понять концепцию «воспроизведения опыта». Воспроизведение опыта встречается во многих других документах для подкрепления (в частности, в статье AlphaGo), поэтому я хочу понять, как это работает. Ниже приведены некоторые выдержки.

Во-первых, мы использовали биологически вдохновленный механизм, называемый повторением опыта, который рандомизирует данные, тем самым устраняя корреляции в последовательности наблюдений и сглаживая изменения в распределении данных.

Затем документ разрабатывается следующим образом:

В то время как существуют другие устойчивые методы обучения нейронных сетей в условиях обучения подкрепления, такие как нейронная Q-итерация, эти методы включают повторное обучение сетей de novo сотнями итераций. Следовательно, эти методы, в отличие от нашего алгоритма, слишком неэффективны, чтобы успешно использоваться с большими нейронными сетями. Мы параметризуем функцию приближенного значения используя глубокую сверточную нейронную сеть, показанную на рис. 1, в которой являются параметрами (то есть весами) Q-сети на итерации . Для воспроизведения опыта мы сохраняем опыт агента на каждом временном шаге$Q(s, a; \theta_i)$$\theta_i$$i$$e_t = (s_t, a_t, r_t, s_{t+1})$$t$в наборе данных . Во время обучения мы применяем обновления Q-learning к образцам (или мини-пакетам) опыта , равномерно отобранным случайным образом из пула сохраненных выборок. Обновление Q-learning на итерации использует следующую функцию потерь:$D_t = \{e_1, \dots, e_t \}$$(s, a, r, s') \sim U(D)$$i$

$$L_i(\theta_i) = \mathbb{E}_{(s, a, r, s') \sim U(D)} \left[ \left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2 \right]$$

Что такое повторение опыта и каковы его преимущества с точки зрения непрофессионалов?

Ключевая часть цитируемого текста:

Для воспроизведения опыта мы сохраняем опыт агента $e_t = (s_t,a_t,r_t,s_{t+1})$

Это означает, что вместо запуска Q-обучения для пар состояние / действие, когда они происходят во время симуляции или реального опыта, система сохраняет данные, обнаруженные для [состояние, действие, вознаграждение, следующее_стадия] - обычно в большой таблице. Обратите внимание, что в нем не хранятся связанные значения - это необработанные данные для последующего расчета в действии.

Затем этап обучения логически отделен от приобретения опыта и основан на взятии случайных выборок из этой таблицы. Вы по-прежнему хотите чередовать два процесса - действие и обучение - потому что улучшение политики приведет к другому поведению, которое должно исследовать действия, более близкие к оптимальным, и вы хотите извлечь уроки из них. Тем не менее, вы можете разделить это так, как вам нравится - например, сделать один шаг, учиться на трех случайных предыдущих шагах и т. Д. Цели Q-Learning при использовании повторения опыта используют те же цели, что и онлайн-версия, поэтому новой формулы для этого не существует. Данная формула потерь также является той, которую вы использовали бы для DQN без повторного опыта. Разница лишь в том, какие s, a, r, s ', a' вы в нее кормите.

В DQN команда DeepMind также поддерживала две сети и переключала, какая из них изучала, а какая из них использовала текущие оценки стоимости действия как «начальные загрузки». Это помогло в стабильности алгоритма при использовании нелинейного аппроксиматора функции. Вот что обозначает строка в - она ​​обозначает альтернативную замороженную версию весов.${\theta}^{\overline{\space}}_i$

Преимущества опыта воспроизведения:

• Более эффективное использование предыдущего опыта благодаря многократному обучению. Это является ключевым моментом, когда получение реального опыта обходится дорого, вы можете в полной мере использовать его. Обновления Q-обучения являются инкрементными и не сходятся быстро, поэтому многократные проходы с одними и теми же данными полезны, особенно когда существует небольшая разница в непосредственных результатах (награда, следующее состояние) при одном и том же состоянии, паре действий.

• Лучшее поведение сходимости при обучении аппроксиматора функции. Частично это связано с тем, что данные больше похожи на данные iid, используемые в большинстве доказательств сходимости обучения под наблюдением.

Недостаток опыта воспроизведения:

• Труднее использовать многошаговые алгоритмы обучения, такие как Q ( ), которые можно настроить, чтобы получить лучшие кривые обучения, балансируя между смещением (из-за начальной загрузки) и дисперсией (из-за задержек и случайности в долгосрочных результатах ). Многошаговый DQN с повторением опыта DQN - это одно из расширений, рассмотренных в статье « Радуга: объединение улучшений в обучении глубокому подкреплению» .$\lambda$

Подход, используемый в DQN, кратко описан Дэвидом Сильвером в некоторых частях этой видео-лекции (около 01:17:00, но стоит посмотреть разделы до него). Я рекомендую посмотреть всю серию, которая является курсом повышения квалификации по обучению подкреплению, если у вас есть время.