Urbex：面向城市规模 3D 场景的智能体式空间 Grounding

问题

城市规模 3D grounding 的现有方法是对预先提取的对象候选进行排序。因此依赖候选质量，并且在候选众多的大型户外场景中速度较慢。面向室内的方法会对点云进行下采样，因而丢失小物体的细节信息。

方法

将场景表示为一个交互式多视图环境，其中包含全局 BEV（鸟瞰图）图像以及视角与世界坐标之间的变换。VLM 智能体调用地标检索、高分辨率放大（Zoom-in）和倾斜视角渲染工具收集证据，然后提交 BEV 坐标下的框，并将该框投影到世界坐标。在 CityRefer 上仅用 GRPO 训练（无演示数据）。奖励由 IoU 项、基于中心距离的连续奖励、步骤成本，以及反映放大是否靠近目标等因素的工具级 shaping 奖励组成。

结果

• 作者报告称，在 CityRefer 上 Hit@1 和 IoU 均为对比方法中最高
• 作者报告称，无需真值候选框即可实现 grounding，并且推理速度明显快于最强的城市规模排序基线
• 作者报告称，在 STPLS3D-Refer 零样本评估中，向其他场景泛化的鲁棒性有所提升

局限

所提供的正文在实验结果之前被截断，因此未能确认具体数值。训练仅使用了 CityRefer，跨场景评估集（STPLS3D-Refer）由作者自行构建。地标检索依赖地名信息，且最终框以 BEV 平面为基准，因此高度方向的精度可能受限。

意义

将大规模 3D 空间搜索从静态检索转化为顺序工具使用问题。对于航空巡检、城市数字孪生等需要在大范围空间中寻找对象的应用，这一设计值得参考。

关键术语

3D visual grounding

在 3D 场景中找到自然语言描述所指的对象，并输出其位置（框）的任务。

BEV(Bird's-Eye View)

从上方俯瞰场景的鸟瞰图图像。在这里用作智能体指定坐标的基本画面。

Reward shaping

除最终结果奖励外，还对中间行为（例如是否朝目标方向放大）给予小额奖励，以帮助探索学习的技术。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Yu Wang, Rui Dai, Wei Chen, Yi Wang, Bo Dang, Kaikui Liu, Xiangxiang Chu, Yansheng Li · 发布 2026-10-13 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。