论文解读 · 2026年10月22日

S-Agent 2.0：用通用编码智能体进行空间推理

S-Agent 2.0: Spatial Reasoning with a General Coding Agent

为现成的编码智能体接入具备场景记忆和空间语言解释功能的 CLI 感知工具包，在空间推理基准上取得了高于专用智能体系统的性能。

问题

使用 3D 感知工具的智能体型 VLM 大幅提升了空间推理性能。但即使工具返回了正确的依据，模型也常常给不出正确答案。作者分析 SpatialClaw 的轨迹后发现，大多数失败并不发生在测量阶段，而是读错旋转符号或坐标系，或者手握测量值仍凭目测图像作答。

方法

保持 OpenHands 等通用编码智能体不变，只添加命令行感知工具包。recon 将多帧合并为重力对齐、以米为单位的 3D 场景，segment 以模型写出的语句为提示生成物体掩码。结果以带名称的实例存入场景记忆，模型也可以用 add-instance 注册虚拟观察者等，或用 drop 删除错误的实例。距离、方向、运动等测量值直接从记忆中计算，并附带一句注明坐标系和参照物体的解释一并返回。感知模型固定使用 Depth Anything 3、SAM 3、GeoCalib 等。

结果

在 Qwen3.8-27B 骨干网络上，与不使用工具的同一智能体相比，工具包使 MMSI-Bench 提高 13.9 分，ReVSI 提高 20.5 分。
在 Qwen3.8-27B 上，MMSI-Bench 为 66.5，ReVSI 为 82.3，高于同一骨干网络的 SpatialClaw（62.6、74.5）。
在 Gemini-3.8-Flash 上为 74.1 和 90.5，领先 SpatialClaw（67.0、79.7）。
换用更强的骨干网络时，SpatialClaw 的 ReVSI 工具增益从 +13.2 降至 +2.7，而 S-Agent 2.0 保持在 +9.6。它在 Codex 和 Claude Code harness 中也能运行。

局限

作者指出，剩余的失败出现在把问题转化为恰当测量的阶段（model-to-tool grounding）。性能依赖于固定外部感知模型的质量。评估仅限于公开基准的问答，在已查阅的正文范围内未涉及多次工具调用带来的成本和延迟。

意义

表明与其重新设计专用智能体循环，不如为通用编码智能体接入设计良好的 CLI 工具，而且即使骨干网络变强，增益也可能得以保持。工具返回经过解释的语句而非数字，这种接口设计也值得在其他领域的智能体中尝试。

关键术语

Evidence loop: 收集依据、记忆、解释并一直连到答案的过程。其中任何一环断开，即使测量正确，答案也会出错。
场景记忆（Scene memory）: 存储 3D 点云以及各命名物体的位置、范围和姿态的持久存储。模型只要记住名称，就可以重新取出测量值使用。
编码智能体 harness: 提供 shell、文件系统、代码执行和工具调用循环的执行环境，如 OpenHands、Codex、Claude Code。

原文

作者: Rui Gong, Ruoyu Wang, Yalun Dai, Hao Li, Sidi Yang, Qihao Zhao, Hongyu Li, Zeyang Guan, 等 · 发布 2026-10-20 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。