论文解读 · 2026年10月14日
GroundingPI：基于视觉基元的物理 AI Grounding 基础模型
GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives
构建了以 token 形式生成点和框坐标的 4B Grounding 模型，在 34 个基准上取得最高平均分，并提升了机器人操作和自动驾驶性能。
问题
VLA 和世界动作模型的感知能力来自通用 VLM 或视频生成骨干网络。这类骨干网络在复杂场景或小物体上无法准确指出“哪个物体在哪里”。结果，本就不足的动作数据还要同时承担感知的负担。
方法
将 MoonViT-V2 视觉编码器与 Qwen3-4B 解码器结合。把点和框转换为量化到 0~999 的坐标 token，使其与标签在同一词表中生成，借此将检测、指代、指点（pointing）、OCR、GUI、版面 Grounding 统一为一种格式。训练按多模态与空间预训练、SFT、GRPO 强化学习的顺序进行。GRPO 奖励混合了基于 IoU 的覆盖率，以及 F1、数量、重复框惩罚等项。同时还使用了合并并验证多个教师模型标签的数据引擎。在下游任务中，将该模型用作 Action DiT 的视觉骨干网络，或让其通过坐标 token 生成驾驶轨迹。
结果
- 在涵盖 11 种感知能力的 34 个 Grounding 基准上平均得分 73.68%，在 44 个基线中高于规模更大的 GPT-6 Astra（71.54%）。
- 在密集场景基准 Dense200（F1mIoU）上取得 74.53。GPT-6 Astra 为 65.04，Qwen3-VL-4B 为 14.02。
- 在 RoboTwin 2.0 的全部 4 种分布外（OOD）设置中均优于所有对比的骨干网络，相比最强骨干网络最多提升 24.8%（相对）。
- 在 RoboCasa-GR1 上，仅使用 50% 的演示数据，性能就优于使用 75% 数据训练的基线。
- 用作 nuScenes 视觉骨干网络时，平均开环（Open-loop）L2 误差为 0.296m。作者报告称，预训练规模越大，下游性能也越高。
局限
作者也承认，VisDrone 这类小物体检测仍然困难。自家模型取 10 次平均，而本地运行的基线因成本原因取 3 次平均，测量条件不同。部分 GUI 评估被标注存在提示词和解析器方面的不确定性。自动驾驶评估仅为使用单个前视摄像头的开环评估，机器人实验也以仿真基准为主。
意义
为选择机器人和自动驾驶模型的骨干网络提供了依据：“精确感知”是值得单独培养的能力。4B 的规模也使其有望用于对延迟敏感的实时控制。
关键术语
- Visual Grounding
- 用框或点找出文本所指定目标在图像中位置的任务。
- VLA(Vision-Language-Action)
- 接收图像和语言指令作为输入、输出机器人动作的模型。
- 量化坐标 token
- 将坐标划分到 0~999 这样的整数区间并以 token 表示的方法。语言模型可以像生成文本一样生成坐标。
- GRPO
- 对同一输入生成多个回答，并在组内比较相对奖励来更新策略的强化学习方法。
原文
作者: Qize Yu, Lianrui Fan, Boyu Chen, Jiaqi Liang, Xini Ding, Yue Chen, Zetian Song, Yuran Wang, 等 · 发布 2026-09-30 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。