AIGC实战——世界模型(World Model)
AIGC实战——世界模型
-
- 0. 前言
- 1. 强化学习
- 2. OpenAI Gym
-
- 2.1 CarRacing 环境
- 2.2 GYMNASIUM
- 3. 世界模型架构
-
- 3.1 VAE
- 3.2 MDN-RNN
- 3.3 控制器
- 4. 世界模型训练
-
- 4.1 收集随机 rollout 数据
- 4.2 训练 VAE
- 4.3 收集数据用于训练 MDN-RNN
- 4.4 训练MDN-RNN
- 4.5 训练控制器
- 5. 在生成环境中训练
- 小结
- 系列链接
0. 前言
世界模型 (World Model) 展示了如何通过在生成的想象环境中进行实验来训练模型(而不是在真实环境中进行训练)，从而学习如何执行特定任务。世界模型很好的说明了如何将生成模型与其他机器学习技术(如强化学习)相结合使用解决实际问题。
该架构的关键组成部分是生成模型，它可以根据当前状态和动作构建下一个可能状态的概率分布。该模型通过随机运动建立对基本物理环境的了解之后，该模型能够完全依靠自身对环境的内部表示来自我训练一个新任务。在本章中，我们将详细介绍世界模型，了解智能体如何学习尽可能快地驾驶汽车在虚拟赛道上行驶。
1. 强化学习
强化学习 (Reinforcement Learning, RL) 是机器学习的一个领域，旨在训练一个智能体在给定环境中以达到特定目标，以取得最大化的预期利益。
判别模型和生成模型都旨在通过观测数据集来最小化损失函数，而强化学习旨在最大化智能体在给定环境中的长期奖励。通常，我们将强化学习视为机器学习的三个主要分支之一，另外两个是监督学习(使用标记数据进行预测)和无监督学习(从无标签数据中学习结构)。
接下来，我们首先介绍与强化学习相关的一些关键概念：
- 环境 (
Environment)：智能体在其中运行的世界。它定义了一组规则，这些规则决定了在给定智能体当前动作和当前游戏状态的情况下，游戏状态的更新过程和奖励分配。例如，如果我们训练强化学习算法下国际象棋，那么构成环境的规则将控制某个动作如何影响下个游戏状态
