当前位置：首页 > 编程日记 > 正文

强化学习环境库 Gym 发布首个社区发布版，全面兼容 Python 3.9

编程日记 2024-11-05 02:30:00

作者：肖智清

来源：AI科技大本营

强化学习环境库Gym于2021年8月中旬迎来了首个社区志愿者维护的发布版Gym 0.19。该版本全面兼容Python 3.9，增加了多个新特性。

强化学习环境库的事实标准Gym迎来首个社区发布版

Gym库在强化学习领域可以说是众人皆知。它是OpenAI于2016年推出的Python环境库，内置了冰面滑行FrozenLake、车杆平衡CartPole、小车上山MountainCar、双足机器人BipedalWalker等经典强化学习任务环境，是目前最常见的强化学习环境库。绝大多数人在学习强化学习时第一个接触到的环境库就是Gym库。Gym库也是在各类强化学习教程和学术论文中出现频率最高的环境库。它以压倒性的占有率成为强化学习环境库中无可匹敌的事实标准。

OpenAI Gym徽标（图片来源：http://gym.openai.com/）

近年来，由于OpenAI投入的资源有限，Gym一直处于被动维护状态。特别是Python 3.9在2020年10月发布后，Gym迟迟未能兼容Python 3.9。由于不能兼容Python 3.9，更进一步导致不能兼容其他库的最新版本，为研发过程中采用其他库的新特性带来了困难。由于Gym已经在学术界和工业界广泛应用，希望Gym能够兼容Python 3.9的呼声一直很高。在GitHub仓库中的讨论区中常常有留言希望Gym尽早兼容Python 3.9，并对其中的bug进行修订。

2021年7月，OpenAI将Gym交给由马里兰大学（University of Maryland College Park）博士生Justin Terry（GitHub：jkterry1）领衔的社区志愿者们来维护。在志愿者的合作下，2021年8月14日发布了首个社区维护的发布版Gym 0.19。发布文件已经在2021年8月17日上传到PyPI。

Justin Terry（图片来源：https://github.com/jkterry1）

众望所归，Gym 0.19兼容Python 3.9

让Gym兼容Python 3.9涉及到对其依赖的pyglet、pillow等库的兼容性维护，这也导致了Gym迟迟不能兼容Python 3.9。在Justin Terry等多名社区志愿者的通力合作下，本次发布版终于兼容了Python 3.9。这其中也不乏来自中国内地志愿者的贡献。其中，来自中国内地的GitHub用户ZhiqingXiao提交的PR#2135维护了依赖的pillow的版本。

Zhiqing Xiao（图片来源：http://github.com/zhiqingxiao）

在发布版Gym 0.19中，我们已经可以在Python 3.9中采用一行简单的pip命令来安装Gym。

在Python 3.9中安装Gym的命令（在Python 3.9下，此命令仅适用于Gym 0.19，不适合更早的Gym版本）

pip install –upgrade gym

安装完后，就可以在Python中正常使用Gym了。

下面的代码给出了使用Gym的冰面滑行环境FrozenLake-v1的示例。环境FrozenLake-v1是在Gym 0.19首次出现的环境，它的前身是2016年Gym收录的冰面滑行的环境FrozenLake-v0。2021年3月，GitHub用户ZhiqingXiao发现环境FrozenLake-v0的阈值设置存在错误，提交了PR#2205修复了该问题。

使用Gym的示例代码（此代码示例仅适用于Gym 0.19，更早版本会出现运行错误）：

import numpy as np
import gym
env = gym.make("FrozenLake-v1")
print(env.observation_space) # 观测空间
print(env.action_space) # 动作空间
print(env.spec.reward_threshold) # 成功求解的阈值obs, reward, done = env.reset(), 0., False
episode_reward = 0.
while not done:action = np.random.randint(4)obs, reward, done, _ = env.step(action)episode_reward += reward
print(episode_reward) # 回合奖励

Gym 0.19的其他新特性

Gym 0.19还包括了其他新特性。

GitHub用户m-orsini提交的PR#2148使得类gym.spaces.MultiDiscrete类可以自定义数据类型。

为gym.spaces.MultiDiscrete类自定义数据类型的示例代码（该代码仅能用于Gym 0.19，更早版本会有运行错误）

gym.spaces.MultiDiscrete(nvec, dtype=np.bool) # dtype是新增的关键字参数，可传入数据类型。

由GitHub用户vwxyzjn提交的PR#2296使得VectorEnv类也可以使用RecordEpisodeStatistics类。

VectorEnv类和RecordEpisodeStatistics类联合使用的代码示例（该示例来源于vwxyzjn提交的PR#2296。仅适用于Gym 0.19，更早版本会出现运行错误）：

import gym
from gym.vector import SyncVectorEnvdef make_env(gym_id, seed):def thunk():env = gym.make(gym_id)env.seed(seed)env.action_space.seed(seed)env.observation_space.seed(seed)return envreturn thunkenvs = SyncVectorEnv([make_env("CartPole-v1", 1 + i) for i in range(2)])
envs = gym.wrappers.RecordEpisodeStatistics(envs)
envs.reset()
for i in range(100):_, _, _, infos = envs.step(envs.action_space.sample())for info in infos:if "episode" in info.keys():print(f"i, episode_reward={info['episode']['r']}")break

由GitHub用户amtamsi提交的PR#2289使得Gym在导入环境时（特别是导入外部环境时）检查导入的环境。由于检查是在库内部进行的，这个更新对用户是透明的，不需要用户修改代码。在我们导入Gym的第三方扩展库（如棋盘游戏库boardgame2等）时，相关功能会自动使用。

尘封数十年的经典环境惊现闭式解，仅需2行代码求解车杆平衡问题

Gym中收录的环境很多是数十年来反复研究的经典问题，特别是像车杆平衡CartPole、小车上山MountainCar、双足机器人BipedalWalker这样的环境更是反复出现在学术论文和教程中。从去年开始，这些环境的闭式解陆续被首次公开，引发研究人员关注。

车杆平衡CartPole是Gym中最著名的环境之一，该问题由强化学习大师级人物Andrew Barto等人在1983年的论文《Neuronlike adaptive elements that can solve difficult learning control problem》里提出，至今仍是GitHub上最受欢迎的环境之一，同时也是强化学习教程最喜欢收录的环境之一。研究人员于近40年来首次发现了能够求解车杆平衡CartPole的闭式解，并在Gym的Wiki里的Leaderboard页面公开。

车杆平衡CartPole问题（图片来源：https://gym.openai.com/envs/CartPole-v0/）

Gym库收录了两个不同版本的车杆平衡CartPole环境：CartPole-v0和CartPole-v1。公开的闭式解用2行代码就可以求解两个环境，其闭式解的简洁程度着实令人感到意外。

车杆平衡CartPole的闭式解代码

position, velocity, angle, angle_velocity = observation
action = int(3. * angle + angle_velocity > 0.)

除了车杆平衡CartPole以外，还有数个经典环境如小车上山MountainCar、双足机器人BipedalWalker都在Gym的Wiki上公布了闭式解。闭式解大都形式简洁，有兴趣的读者可移步Gym的Wiki上的Leaderboard页面查阅。

作者简介

肖智清，清华大学工学博士。

著有《神经网络与PyTorch实战》《强化学习：原理与Python实战》。scipy、sklearn等开源项目源码贡献者。近7年发表SCI/EI论文十余篇，多个顶级期刊和会议审稿人。在国内外多项程序设计和数据科学竞赛上获得冠军。

https://www.dkcj.cn/info/26112.html

强化学习环境库 Gym 发布首个社区发布版，全面兼容 Python 3.9

强化学习环境库的事实标准Gym迎来首个社区发布版

众望所归，Gym 0.19兼容Python 3.9

Gym 0.19的其他新特性

尘封数十年的经典环境惊现闭式解，仅需2行代码求解车杆平衡问题

相关文章：

SCOM电子书

京东二面的几个问题

服务器集群负载均衡(F5,LVS,DNS,CDN)区别以及选型

linux下SVN不允许空白日志提交

没有熙熙攘攘，百度VR在世界大会的一场奇妙之旅

Ubuntu下搭建postgresql主从服务器（方法1）

利用集群技术实现Web服务器的负载均衡

AI EARTH再立功，达摩院包揽遥感AI领域三项冠军

node.js写一个json服务

试过不用循环语句撸代码吗？

Linux 命令 top 学习总结

android 中改变按钮按下时的颜色

实战：使用 Mask-RCNN 的停车位检测

Microsoft Office Communications Server 2007 R2 RTM 简体中文企业版部署速成篇之二

F5负载均衡会话保持技术及原理技术白皮书

一文全览机器学习建模流程（Python代码）

CSS Selector 3

GSM中时隙、信道、突发序列、帧的解释

网页效率之DNS查找和并行下载

赛门铁克开启“容灾即服务”时代

再谈“去虚拟化”对深度学习系统的必要性

Enable PowerShell script execution policy

Linux下DNS轮询与Squid反向代理结合

从iOS证书申请到签名文件生成

GitHub 热榜：来膜拜这个流弊的 AI 框架！

ASP.net：添加.net(2.0C#)FCKeditor在线编辑器步骤

安装varish作为缓存和代理

英伟达 400 亿美元收购 ARM 受阻，不妨考虑 VMware？

单目和双目模式识别---游戏控制

vsftpd企业应用快速部署文档