HexaShell：探索将 VLM 智能体用作机器人编程智能体时局限性的轻量 Harness

问题

基于 VLM 的智能体开始在机器人操作排行榜上与学习型策略竞争。但编程智能体在操控机器人而非计算机时，能做到什么程度、会在哪里受阻，目前尚不清楚。尤其困难的是，在没有深度信息的情况下仅凭 RGB 像素确定厘米级的位置。

方法

Harness 只负责把命令转换为关节运动，不做判断。智能体只获得一个名为 robo 的命令行、3 台 RGB 相机的画面与标定信息，以及一页篇幅的手册。失败时，由同一模型（Codex + GPT-6-Astra，medium reasoning）构成的 optimizer 智能体读取日志和相机帧、诊断原因，然后编写或修改包含单元测试的小型工具代码，之后在同一布局上重新尝试。工具只能使用机器人观测到的信息。它通过三角测量计算 3D 位置，即求两条相机光线的交点，或光线与已测量平面（桌面、积木顶面）的交点；必要时移动腕部相机以获得第二个视角。每个任务用一个 seed 的 10 个布局构建工具后将其固定，再在 10 个新布局上重新测试。

结果

• 作者报告，在 RoboDojo 的 42 个任务上，按排行榜方式计算的平均成功率为 39.7%，进度分数为 48.0，超过了最佳学习型策略 VPP2（32.3%，39.3）和 PhysicalRSI（31.4%，36.3）。
• 54 个变体的简单平均成功率为 35.4%，高于 VPP2 的 30.6% 以及不使用工具的同一模型的 24.3%。
• 在相同的 Harness、模型和布局下，三角测量方法比基于 Depth Anything V2 的深度估计高 8.7 分；按布局逐一比较，胜 57 个，负 23 个。
• 不同任务类型之间差异很大。推动（pushing）为 92.5%，记忆任务为 65.0%，而紧配合插入（tight insertion）仅为 8.3%。作者分析认为，局限不在推理，而在接触控制。

局限

重新测试为每个任务使用同一 seed 的 10 个新布局，每个布局 1 个回合。排行榜条目则用 3 个 seed、每个 seed 50 个回合进行评估，因此评估方式并不相同。重新测试的提示词中额外加入了任务说明、评分表和开发阶段的备注，并且在 25 个任务中 optimizer 读取了 checker 要求备注。每个回合耗时中位数为 739 秒，但大部分是模型延迟，不计入基准成本。仅在仿真中进行了评估，在接触密集的精细操作上性能较低。

意义

研究表明，无需收集机器人数据或训练模型，仅靠通用编程智能体把失败逐步积累为代码的方式，就能与学习型策略竞争。同时，它用具体数字表明，接触密集的精细操作是当前 VLM 智能体的瓶颈。

关键术语

Harness

包裹模型并将其与环境连接的执行框架。本文的 Harness 设计得很轻量，只负责把命令转换为机器人动作，不做判断。

三角测量（Triangulation）

当两台经过标定的相机看到同一个点时，利用两条视线光线的交点求出 3D 位置的方法。无需深度传感器，仅凭 RGB 图像即可测定位置。

Active Perception

为获得更好的观测而主动移动传感器的方式。本文通过移动腕部相机获得第二个视角，但会相应消耗动作步数。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Hongcheng Gao, Alex Zhou, Jay Zhu, Zelin Zheng, Shijia Ge, Xiping Li, Di Wu, Yazhe Wang, 等 · 发布 2026-10-16 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。