【Python】Gym 库：于开发和比较强化学习（Reinforcement Learning, RL）算法_python gym

Gym 是 Python 中一个广泛使用的开源库，用于开发和比较强化学习（Reinforcement Learning, RL）算法。它最初由 OpenAI 开发，提供标准化的环境接口，允许开发者在各种任务（如游戏、机器人控制、模拟物理系统）中测试 RL 算法。Gym 的设计简单且灵活，适合学术研究和工业应用。2022 年，Gym 被整合到 Gymnasium（由 Farama Foundation 维护）中，成为主流的强化学习环境库。本文以 Gymnasium（gymnasium）为基础，兼容旧版 Gym（gym）。

以下是对 Python 中 Gym（Gymnasium）库的详细介绍，包括其定义、功能、用法、示例、最佳实践和注意事项。内容基于官方文档（截至 2025 年 6 月，Gymnasium v0.29+）和其他可靠来源（如 GitHub、Farama Foundation）。

1. Gym（Gymnasium）的定义和原理

1.1 定义

Gymnasium（前身为 Gym）是一个强化学习环境库，提供标准化的环境接口，用于开发和测试 RL 算法。每个环境定义了状态空间（observation space）、动作空间（action space）、奖励函数（reward function）和终止条件，模拟 RL 代理与环境的交互。

• 核心功能：

  • 标准化环境：提供多种预定义环境（如 Atari 游戏、MuJoCo 物理模拟、经典控制任务）。
  • 自定义环境：支持用户创建自定义 RL 环境。
  • 状态和动作空间：通过 gymnasium.spaces 定义离散或连续的空间。
  • 观测和奖励：提供环境反馈（状态、奖励、终止标志）。
  • 向量化支持：支持并行运行多个环境实例（VectorEnv）。
  • 兼容性：与主流 RL 库（如 Stable-Baselines3、Ray RLlib、PyTorch、TensorFlow）集成。

• 依赖：核心依赖 NumPy，可选依赖如 MuJoCo、Atari ROMs、PyGame。

1.2 原理

• 环境交互：RL 代理通过 env.step(action) 与环境交互，获取 (observation, reward, terminated, truncated, info)。
  • observation：当前状态（如图像、向量）。
  • reward：动作的奖励值。
  • terminated：是否达到终止状态（如任务完成）。
  • truncated：是否因外部限制（如时间）截断。
  • info：额外调试信息（字典）。
• 空间定义：
  • gymnasium.spaces.Discrete：离散动作/状态（如 0, 1, 2）。
  • gymnasium.spaces.Box：连续空间（如浮点向量）。
• 环境重置：通过 env.reset() 初始化环境，返回初始状态。

1.3 安装

Gymnasium 是当前推荐的版本，安装方式：

pip install gymnasium

• 特定环境支持：
  • 经典控制任务（默认包含）：

    pip install \"gymnasium[classic-control]\"

  • Atari 游戏：

    pip install \"gymnasium[atari]\"pip install \"gymnasium[accept-rom-license]\" # 自动接受 ROM 许可

  • MuJoCo 物理模拟：

    pip install \"gymnasium[mujoco]\"

• 旧版 Gym（不推荐，维护已停止）：

  pip install gym

2. Gymnasium 的基本用法

2.1 创建和交互环境

使用 gymnasium.make 创建环境，通过 step 和 reset 交互。

示例（CartPole 环境）：

import gymnasium as gymenv = gym.make(\"CartPole-v1\", render_mode=\"human\") # 创建环境，可视化observation, info = env.reset(seed=42) # 重置环境for _ in range(1000): action = env.action_space.sample() # 随机动作 observation, reward, terminated, truncated, info = env.step(action) # 执行动作 if terminated or truncated: observation, info = env.reset()env.close() # 关闭环境

• 说明：
  • CartPole-v1：经典控制任务，目标是平衡小车上的杆。
  • render_mode=\"human\"：显示图形界面。
  • action_space.sample()：从动作空间随机采样。

2.2 观察动作和状态空间

检查环境的动作和状态空间。

示例：

env = gym.make(\"CartPole-v1\")print(env.action_space) # 输出: Discrete(2)（左右推车）print(env.observation_space) # 输出: Box([-4.8, -inf, -0.418, -inf], [4.8, inf, 0.418, inf], (4,), float32)

2.3 训练 RL 代理

结合 RL 算法（如 PPO from Stable-Baselines3）训练代理。

示例：

from gymnasium import makefrom stable_baselines3 import PPOenv = make(\"CartPole-v1\")model = PPO(\"MlpPolicy\", env, verbose=1) # 使用 PPO 算法model.learn(total_timesteps=10000) # 训练 10000 步model.save(\"ppo_cartpole\") # 保存模型# 测试模型obs, _ = env.reset()for _ in range(1000): action, _states = model.predict(obs) obs, reward, terminated, truncated, _ = env.step(action) if terminated or truncated: obs, _ = env.reset()env.close()

2.4 自定义环境

通过继承 gymnasium.Env 创建自定义 RL 环境。

示例：

import gymnasium as gymfrom gymnasium.spaces import Discrete, Boximport numpy as npclass CustomEnv(gym.Env): def __init__(self): super().__init__() self.action_space = Discrete(2) # 两个动作 self.observation_space = Box(low=-1, high=1, shape=(1,), dtype=np.float32) self.state = 0 self.steps = 0 def reset(self, seed=None, options=None): super().reset(seed=seed) self.state = 0 self.steps = 0 return np.array([self.state], dtype=np.float32), {} def step(self, action): self.state += 0.1 if action == 1 else -0.1 self.steps += 1 reward = 1.0 if abs(self.state) < 0.5 else -1.0 terminated = self.steps >= 100 truncated = False return np.array([self.state], dtype=np.float32), reward, terminated, truncated, {}env = CustomEnv()obs, _ = env.reset()for _ in range(10): action = env.action_space.sample() obs, reward, terminated, truncated, info = env.step(action) print(obs, reward)

3. 应用场景

1. 强化学习研究：

   • 测试 RL 算法（如 DQN、PPO、SAC）在标准环境（如 Atari、MuJoCo）上的性能。
   • 示例：训练 PPO 解决 CartPole。

2. 机器人控制：

   • 使用 MuJoCo 或 PyBullet 环境模拟机器人运动。
   • 示例：训练机械臂抓取物体。

3. 游戏 AI：

   • 在 Atari 或自定义游戏环境中开发 AI 代理。
   • 示例：训练 DQN 玩 Pong。

4. 工业仿真：

   • 模拟生产调度、物流优化等。
   • 示例：自定义环境优化仓库机器人路径。

5. 数据管道：

   • 将环境观测数据与 DocArray 或 Pydantic 结合，存储到数据库。
   • 示例：记录 Atari 游戏帧到向量数据库。

4. 最佳实践

1. 选择合适的渲染模式：

   • 使用 render_mode=\"rgb_array\" 获取图像数据，render_mode=\"human\" 用于可视化。
   • 示例：

     env = gym.make(\"CartPole-v1\", render_mode=\"rgb_array\")

2. 环境包装（Wrapper）：

   • 使用 gymnasium.Wrapper 自定义环境逻辑（如状态归一化、奖励缩放）。
   • 示例：

     from gymnasium.wrappers import NormalizeObservationenv = NormalizeObservation(gym.make(\"CartPole-v1\"))

3. 向量化环境：

   • 使用 gymnasium.vector.make 并行运行多个环境，加速训练。
   • 示例：

     envs = gym.vector.make(\"CartPole-v1\", num_envs=4)

4. 异常处理：

   • 捕获环境错误（如 ROM 缺失、MuJoCo 许可）。
   • 示例：

     try: env = gym.make(\"Pong-v4\")except ImportError: print(\"Install Atari dependencies\")

5. 测试环境：

   • 使用 pytest 测试环境行为。
   • 示例：

     import pytestimport gymnasium as gymdef test_cartpole(): env = gym.make(\"CartPole-v1\") obs, _ = env.reset() assert env.observation_space.contains(obs) env.close()

6. 种子设置：

   • 使用 reset(seed=...) 确保实验可重复。
   • 示例：

     env.reset(seed=42)

5. 注意事项

1. Gym vs Gymnasium：

   • 旧版 Gym（gym）已停止维护，推荐使用 Gymnasium（gymnasium）。
   • 示例（迁移）：

     # 旧版import gymenv = gym.make(\"CartPole-v0\")# 新版import gymnasium as gymenv = gym.make(\"CartPole-v1\")

2. 环境版本：

   • Gymnasium 使用 v1 环境（CartPole-v1），旧版 v0 已弃用。
   • 示例：

     env = gym.make(\"CartPole-v1\") # 正确

3. 依赖问题：

   • Atari 和 MuJoCo 环境需要额外安装和配置（如 ROM 文件、MuJoCo 许可）。
   • 示例：

     pip install \"gymnasium[accept-rom-license]\"

4. 性能：

   • 向量化环境优于单环境循环，适合大规模训练。
   • 示例：

     envs = gym.vector.make(\"CartPole-v1\", num_envs=8)

5. 动态环境：

   • Gym 不直接支持动态网页数据，需结合 beautifulsoup4 或 selenium。
   • 示例：

     from selenium import webdriverdriver = webdriver.Chrome()driver.get(\"https://example.com\")

6. 总结

Gymnasium（Gym）是强化学习领域的标准环境库，提供了丰富的预定义和自定义环境支持。其核心特点包括：

• 定义：标准化 RL 环境，定义状态、动作、奖励和终止条件。
• 功能：支持经典控制、Atari、MuJoCo、自定义环境和向量化。
• 应用：RL 研究、机器人控制、游戏 AI、工业仿真。

参考文献：

• Gymnasium 官方文档：https://gymnasium.farama.org/
• GitHub 仓库：https://github.com/Farama-Foundation/Gymnasium
• Stable-Baselines3 文档：https://stable-baselines3.readthedocs.io/
• Farama Foundation：https://farama.org/

民族服饰面料