论文解读 · 2026年10月10日

AgentGarten：帮助智能体持续进化的基于代码的虚拟世界

AgentGarten: Code Worlds for Evolving Agents

将通用实时神经渲染器与模拟器、游戏引擎结合，构建出用代码编写的交互环境，并展示了智能体在其中只需几轮就能完成学习。

问题

智能体能学到什么，取决于它练习所用的环境。模拟器和游戏引擎的状态与规则清晰，但要在视觉上做到多样，3D 资产制作成本很高。反之，视频世界模型视觉丰富，但状态和物理规则隐式地包含在模型内部，难以检查或修改。

方法

引擎以代码执行场景状态和交互规则，并输出深度、表面法线等结构化条件。通用神经渲染器接收这些条件以及外观参考图像、文本和历史画面，生成观测画面。渲染器以 Cosmos 3-Nano 为基础，先学习几何条件，再改为按块自回归生成，并用作者提出的 Adversarial Forcing 进行蒸馏。Adversarial Forcing 结合了基于自身 rollout 的 DMD（Distribution Matching Distillation）、让梯度一直传到历史块编码的逐比特精确重算（exact replay）、基于真实视频的对抗训练，以及精确的 R1/R2 正则化。智能体只根据渲染出的画面行动，并在每一轮把经验整理成操作手册，交给下一个智能体。

结果

作者报告称，智能体只用 4 轮就完成学习，学习效率远高于需要数百万次尝试的传统强化学习方法。
作者报告称，在捉迷藏环境中，使用坡道、搭建藏身处等策略在几局之内就出现了。
文中说明，exact replay 实现了与采样 rollout 逐比特一致的重算，消除了一次性计算整个序列的 SGF 方法中的数值不一致。
作者表示，渲染器经过优化，可在单张 GPU 上实现实时交互。

局限

所提供的正文中途被截断，未能确认渲染器质量对比（相对于 Self Forcing）以及各环境的定量结果。与强化学习的比较仅停留在“4 轮对数百万次”的层面，需要考虑到比较条件不同（预训练基础模型智能体与从零开始训练的 RL）。

意义

把状态和规则交给代码、把画面交给通用生成模型，就可以不依赖资产、只靠代码扩展新环境。这可能成为大规模构建智能体训练环境的一种方法。

关键术语

代码世界（Code World）: 由场景程序执行状态与规则、由神经渲染器生成画面的环境。渲染错误不会累积到状态中。
Adversarial Forcing: 一种基于自身 rollout 进行训练的蒸馏技术。结合了分布匹配、让梯度一直传到历史编码的 exact replay，以及基于真实视频的对抗训练。
DMD(Distribution Matching Distillation): 一种蒸馏方法：训练学生模型，使其生成的样本分布与教师模型的分布一致，从而用更少的步数完成生成。
操作手册（Playbook）: 智能体每轮把失败原因和心得写成文字的文档。下一轮的智能体接手并加以改进。

原文

作者: Jiawei Chi, Shangchen Miao, Zhiyuan Shi, Kailu Wu, Hanyang Wang, Weiliang Chen, Qiyu Dai, Jinshan Ren, 等 · 发布 2026-10-08 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。