论文解读 · 2026年10月23日
SpatialScout：VLM智能体能否主动探索3D场景并构建地图
SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
构建了一个由VLM智能体直接移动相机来绘制物体3D位置地图的基准，表明最新模型在精确地图构建上仍有很大差距。
问题
空间智能评测主要依赖图像、视频问答。这类评测存在靠猜测或语言先验知识答对的空间。此外，它们也无法确认模型能否自行收集观察信息，构建精确到米制单位的3D地图。
方法
在80个室内场景（基于iTHOR、ProcTHOR等，用SAPIEN/ManiSkill3渲染）中放置了3,140个目标物体。智能体获得物体列表、RGB图像、相机内参和位姿。它使用相机移动、旋转、拍摄、三角测量、提交位置等10种工具探索场景，并估计每个物体的中心坐标。预算为100次模型调用、100张图像。评分时将真值框平移到预测中心后计算3D IoU，未提交的物体记0分，从而同时考察准确度和覆盖率。
结果
- Claude Opus 5.5以全部物体平均IoU 41.71%位居第一。其次是GPT-6 Astra（xhigh）33.16%、Claude Sonnet 5.5 32.26%。
- 即便是Claude Opus 5.5，IoU超过0.5的物体也只有47.23%，超过0.9的仅3.25%。粗略摆放与精确位置估计之间差距很大。
- Kimi-K3（4.22%）、Qwen3.8 Max（6.80%）、DeepSeek V4.1 Flash（3.48%）的平均IoU停留在个位数。
- 对40条轨迹的分析显示，最常见的失败原因是覆盖不完整（26例），以及三角测量残差虽低但疑似对应点错误的情况（21例）。
局限
只涉及用模拟器渲染的室内场景，并假设相机位姿和标定值是精确给定的。每个模型-场景对只运行一次回合，未报告不同运行之间的差异。评测对象为7个模型，只估计物体中心坐标，不评估尺寸和朝向。
意义
要在机器人或具身智能体中使用VLM，模型必须能自行构建精确的空间地图。与问答得分不同，该基准以数值衡量实际地图质量，具体展示了当前模型的局限。
关键术语
- 主动感知（Active Perception）
- 不只是查看给定图像，而是自行决定下一步看哪里，以收集所需视觉证据的方式。
- 三角测量（Triangulation）
- 在从不同位置拍摄的两张或更多图像中找到同一个点，用视线交汇处计算其3D位置的技术。
- 3D IoU
- 预测3D框与真值框的重叠体积除以两者合并体积所得的值。越接近1越准确。
原文
作者: Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, 等 · 发布 2026-10-19 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。