《强化学习：原理与Python实现 》 —1.6　案例：基于Gym库的智能体/环境交互

1.6　案例：基于Gym库的智能体/环境交互

强化学习算法需要在难易适中的合适环境里才能发挥出其强大的功能。在本节中，我们将安装和应用影响力巨大的强化学习环境库—Gym库。

Gym库（https://gym.openai.com/）是OpenAI推出的强化学习实验环境库。它用Python语言实现了离散时间智能体/环境接口中的环境部分。除了依赖少量商业库外，整个项目是开源免费的。

Gym库内置上百种实验环境，包括以下几类。

算法环境：包括一些字符串处理等传统计算机算法的实验环境。

简单文本环境：包括几个用文本表示的简单游戏。

经典控制环境：包括一些简单几何体的运动，常用于经典强化学习算法的研究。

Atari游戏环境：包括数十个Atari 2600游戏，具有像素化的图形界面，希望玩家尽可能争夺高分。

二维方块（Box2D）环境：包括一些连续性控制的任务。

MuJoCo环境：利用收费的MuJoCo运动引擎进行连续性控制任务。

机械控制环境：关于机械臂的抓取和控制等。

Gym环境列表可参见网址https://gym.openai.com/envs/。

本节我们将安装并使用Gym库，通过一个完整的实例来演示智能体与环境的交互。

1.6.1　安装Gym库

Gym库在Windows系统、Linux系统和macOS系统上都可以安装。本节与你一起在Anaconda 3环境里安装Gym库。

请在安装Gym前升级Python和pip。升级pip的命令是：

pip install --upgrade pip

安装Gym可以选择最小安装和完整安装。最小安装的方法是在安装环境（如Anaconda 3的管理员模式）里输入下列命令：

pip install gym

但是，这样安装的Gym库只包括少量的内置环境，如算法环境、简单文字游戏环境和经典控制环境。在此可以先使用这些环境。Gym库完整安装的方法见第10章。

注意：本书后续章节的实战环节将反复使用Gym库，请务必安装。前几章配套的案例只需要用到Gym的最小安装，而最后的综合案例需要依赖最小安装以外的完整安装。本书各章节配套实例需要使用的Gym库范围见表1-1。

表1-1　本书实例的智能体和环境依赖的主要Python扩展库