SuperNav：适用于任意任务、任意场景的智能体式导航系统

问题

服务机器人需要在陌生环境中处理各种请求。微调 MLLM 直接预测动作的方法受限于训练数据范围，对新任务和新场景的泛化较弱；模块化零样本系统则需要针对每个任务修改固定的工作流。

方法

MLLM 只负责理解请求、理解场景和做决策，移动执行交给工具。智能体循环反复调用观测、移动、目标进度管理和结束 Tool；已处理的图像只保留路径，并从后续请求中移除，以缩减上下文。MLLM 在四个方向的观测图像上指定一个点（PointNav）作为目的地，由使用深度和位姿的基于几何的执行器或学习得到的执行器来完成。用于探索、恢复和完成判断的 Navigation Skill 以 Markdown 文档形式在需要时读取。实验使用 GPT-5.6 Terra。

结果

• 在 150 个单目标导航任务中 SR 为 78.00%，高于最强基线 UniNaVid（34.00%）（Geo-based Executor）。
• 在 150 个有顺序的多目标导航任务中 SR 为 34.00%，高于基线最高值 OmniNav Action Former（4.00%）。
• 在基于 Demand-Bench 的 200 个需求驱动导航任务中 SR 为 59.50%，高于 OmniNav Action Former（37.50%）。
• 在 HM3D-OVON val-unseen 的 120 个回合中，未经 OVON 专门训练，在 1m 标准下 SR 为 73.33%、SPL 为 0.4105，在 0.25m 标准下 SR 为 68.33%、SPL 为 0.3837。
• 作者报告称，还部署到了真实的四足机器人上并展示了运行效果。

局限

实例基准由作者自行构建，需求驱动评估使用了修改后的协议。基线以 MLLM 微调方法为主，比较条件不同。HM3D-OVON 只用 120 个子集进行评估。作者表示，多目标 SR 为 34%，仍然偏低，长序列的需求驱动任务也很困难。性能依赖于商用 MLLM（GPT-5.6 Terra）。

意义

这是把在通用智能体上见效的 harness 设计（工具、技能、上下文管理）移植到机器人导航的案例。它展示了不用导航数据另行训练、直接利用通用模型能力的方向。

关键术语

智能体 harness（Agent Harness）

提供执行循环、工具和上下文管理，让模型调用工具、接收结果并再次判断的框架。

Visual-point 接口

MLLM 在观测图像上选定一个坐标点作为目的地，再由移动工具规划实际路径并移动的方式。

SPL(Success weighted by Path Length)

将是否成功乘以实际移动路径相对最短路径的效率得到的指标。即使成功，绕远路得分也会较低。

Navigation Skill

记录探索、恢复和完成确认要领的 Markdown 指南。模型在需要时将其加载到上下文中参考。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Jinkai Zhang, Jingyi Xu, Yuanhong Yu, Jiarui Guo, Ruizhen Hu, Hujun Bao, Xiaowei Zhou, Sida Peng · 发布 2026-10-08 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。