论文解读 · 2026年10月16日
Player-1：通过合成经验学习玩游戏的智能体
Player-1: Learning to Play from Synthetic Experience
将计算机使用智能体的动作空间扩展到游戏场景，并在 16 个合成环境中进行强化学习，使其在训练中未使用的游戏上的操作性能也大幅提升。
问题
计算机使用智能体能够读取屏幕并操作键盘和鼠标。但在需要精确瞄准、持续移动和同时输入的游戏中仍然较弱。演示数据只覆盖游戏中可能出现的部分状态，而且很难通过程序为商业游戏添加奖励，从而构建大规模交互式训练环境。
方法
首先，在动作空间中加入相对指针移动、按住按键（hold），以及同时执行多个输入的复合动作。接着，将 6,044 条游戏轨迹（295,097 轮）整理为适配该动作空间的形式，并用 VLM 添加任务指令和逐步视觉推理，进行微调（SFT）。然后，构建了由瞄准、战斗、驾驶、导航和 UI 操作五类组成的 16 个 2D、3D 合成环境（Player-1-Gym）。这些环境根据游戏状态提供可验证的奖励，并随机改变外观、相机、场景和操作灵敏度。最后，使用带有按环境优势（Advantage）归一化的 PPO 联合训练 Qwen3.5-9B 和 35B-A3B。
结果
- 在 MineDojo-300 成功率上，Player-1-9B 从 SFT 阶段的 10.54% 提升到 38.33%，高于最强的外部基线 GameWAM（12.63%）。
- Player-1-35B-A3B 在 MineDojo-300 上从 SFT 的 23.38% 提升到 41.04%（+17.7 个百分点）。
- 对于 9B 模型，在 8 次中成功 4 次及以上的任务数，在 300 个任务中从 20 个增加到 136 个。
- 作者报告称，在强化学习训练环境之外的 ViZDoom-10 和 GameWorld 上，性能也高于 SFT，并且使用的合成环境越多样，迁移效果越好。
局限
强化学习只进行了 200 步，合成环境也仅有作者构建的 16 个。外部基线是在作者的评估协议下测得的。MineDojo 采集（Harvest）任务的成功率在强化学习后仍只有 10~12% 左右。由于提供的正文被截断，未能确认 ViZDoom 和 GameWorld 的最终数值以及消融实验的详细结果。
意义
这项工作提供了证据：即使不为每个真实游戏构建奖励，仅靠针对通用操作能力的合成环境，也能实现向其他游戏迁移的学习。对于希望将计算机使用智能体扩展到需要实时操作领域的团队具有参考价值。
关键术语
- 计算机使用智能体（CUA）
- 根据屏幕截图输出键盘和鼠标动作，以完成数字任务的智能体。
- 复合动作（Composite Action）
- 在一个控制步骤内同时执行多个键盘、鼠标输入的动作。例如，按住 W 的同时按 Space，实现边跑边跳。
- RLVR
- 使用可通过程序验证的奖励的强化学习。这里将游戏得分变化作为逐步奖励。
- 环境随机化（Environment Randomization）
- 在训练过程中随机改变颜色、相机、布局、操作灵敏度等环境要素，以避免对特定环境过拟合的技术。
原文
作者: Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun, Guangzhi Wang, Junfu Pu, Cheng Cheng, 等 · 发布 2026-10-14 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。