论文解读 · 2026年10月13日
EmbodiedCLBench:评估自我进化型具身智能体的持续学习
EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents
构建了一个具身仿真基准,衡量智能体能否组合从基础任务中获得的经验来解决未见过的高级任务,并表明经验能提升性能,但提升幅度不会随样本数量成比例增加。
问题
持续学习(continual learning)的研究和基准主要局限于数字和符号环境。对于存在物理约束和空间复杂性的具身(embodied)环境,此前没有专门的基准来评估智能体能否积累经验并迁移到新任务。
方法
以组合泛化(compositional generalization)作为评估原则。基于 TongSim 家庭仿真,构建了原子动作 → 基础任务(2 个原子动作,最短 6 步)→ 高级任务(组合多个基础任务类别,4 个原子动作,最短 12 步)三个层级的任务。为保证可复现性,每个任务都被构建为带有第一人称图像和候选动作的离线状态转移图。候选动作分为最优、次优和不可执行三类。智能体在学习阶段先完成 2 个相关的基础任务,再解决高级任务。评估设置有三种:Zero-shot、In-Context Learning(将轨迹原样保留在上下文中)、Skill Learning(只提供经验摘要)。
结果
- 该基准共包含 268 个任务,其中基础任务 168 个、高级任务 100 个。
- 在 4 种 Harness(OpenClaw、Claude Code、Codex、Hermes)与 2 个模型的组合中,Zero-shot 成功率在基础任务上约为 50%,在高级任务上约为 10%。
- 提供经验后,高级任务成功率大多升至 30% 以上。例如,Codex+GPT5.6-Terra 从 Zero-shot 的 11.0% 提升到 ICL 的 52.0%。
- ICL 与 Skill Learning 都没有一致地占优。将原子动作数增加到 3~6 个时,相对 Zero-shot 的提升幅度仍大致相同。
- 仅用 1 个基础任务就能显著提升性能,但进一步增加学习样本并没有带来一致的额外提升。
局限
评估采用离线选择题形式,即在预先计算的状态图中选择候选动作,而不是连续控制。仿真器是闭源的 TongSim,且只覆盖家庭室内场景。任务描述和候选动作由 LLM 生成后经人工验证。指标只有成功率一项。
意义
首次系统地衡量了具身智能体能否从经验中学习并迁移到更难的任务。研究揭示了当前智能体在经验增加时仍无法从中提取更多信息的局限,指出了设计自我进化型智能体面临的挑战。
关键术语
- 持续学习(Continual Learning)
- 模型持续积累过去的经验,并将其用于解决新任务的能力。
- 组合泛化(Compositional Generalization)
- 将分别学到的基本要素以新的方式组合,以解决未见过的复杂问题的能力。
- 智能体 Harness
- 一种智能体运行框架,像 OpenClaw、Claude Code、Codex 那样包裹模型,提供工具调用、记忆和执行循环。
原文
作者: Jie Huang, Yanan Chen, Ruixun Liu, Kaichen He, Xinyi He, Rui Huang, Zilong Zheng, Zhenliang Zhang, 等 · 发布 2026-10-09 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要,请以论文原文为准。