См. Мой banana-gym
для очень маленькой среды.
Создавайте новые среды
Смотрите главную страницу репозитория:
https://github.com/openai/gym/blob/master/docs/creating-environments.md
Шаги следующие:
- Создать новый репозиторий со структурой PIP-пакета
Это должно выглядеть так
gym-foo/
README.md
setup.py
gym_foo/
__init__.py
envs/
__init__.py
foo_env.py
foo_extrahard_env.py
Чтобы ознакомиться с его содержанием, перейдите по ссылке выше. Детали, которые не упоминаются, в частности, как foo_env.py
должны выглядеть некоторые функции . Посмотрите примеры и посмотрите на gym.openai.com/docs/ . Вот пример:
class FooEnv(gym.Env):
metadata = {'render.modes': ['human']}
def __init__(self):
pass
def _step(self, action):
"""
Parameters
----------
action :
Returns
-------
ob, reward, episode_over, info : tuple
ob (object) :
an environment-specific object representing your observation of
the environment.
reward (float) :
amount of reward achieved by the previous action. The scale
varies between environments, but the goal is always to increase
your total reward.
episode_over (bool) :
whether it's time to reset the environment again. Most (but not
all) tasks are divided up into well-defined episodes, and done
being True indicates the episode has terminated. (For example,
perhaps the pole tipped too far, or you lost your last life.)
info (dict) :
diagnostic information useful for debugging. It can sometimes
be useful for learning (for example, it might contain the raw
probabilities behind the environment's last state change).
However, official evaluations of your agent are not allowed to
use this for learning.
"""
self._take_action(action)
self.status = self.env.step()
reward = self._get_reward()
ob = self.env.getState()
episode_over = self.status != hfo_py.IN_GAME
return ob, reward, episode_over, {}
def _reset(self):
pass
def _render(self, mode='human', close=False):
pass
def _take_action(self, action):
pass
def _get_reward(self):
""" Reward is given for XY. """
if self.status == FOOBAR:
return 1
elif self.status == ABC:
return self.somestate ** 2
else:
return 0
Используйте свою среду
import gym
import gym_foo
env = gym.make('MyEnv-v0')
Примеры
- https://github.com/openai/gym-soccer
- https://github.com/openai/gym-wikinav
- https://github.com/alibaba/gym-starcraft
- https://github.com/endgameinc/gym-malware
- https://github.com/hackthemarket/gym-trading
- https://github.com/tambetm/gym-minecraft
- https://github.com/ppaquette/gym-doom
- https://github.com/ppaquette/gym-super-mario
- https://github.com/tuzzer/gym-maze
gym_foo
импортированное, но неиспользованное». Как мне от этого избавиться?import gym_foo # noqa
pip install -e .
команды помогло @hipoglucidoЭто определенно возможно. Об этом говорится на странице документации, ближе к концу.
https://gym.openai.com/docs
Что касается того, как это сделать, вам следует взглянуть на исходный код существующих сред для вдохновения. Он доступен в github:
https://github.com/openai/gym#installation
Большую часть своих сред они не реализовали с нуля, а скорее создали оболочку вокруг существующих сред и предоставили всем им интерфейс, удобный для обучения с подкреплением.
Если вы хотите создать свой собственный, вам, вероятно, следует пойти в этом направлении и попытаться адаптировать то, что уже существует, к интерфейсу тренажерного зала. Хотя есть большая вероятность, что на это уйдет очень много времени.
Есть еще один вариант, который может быть интересен для ваших целей. Это вселенная OpenAI
https://universe.openai.com/
Его можно интегрировать с веб-сайтами, чтобы вы могли обучать своих моделей, например, конгрегатным играм. Но Universe не так прост в использовании, как Gym.
Если вы новичок, я рекомендую вам начать с простой реализации в стандартной среде. После того, как вы решите проблемы с основами, переходите к увеличению ...
источник