论文解读 · 2026年10月22日
Ropedia W0：用人类第一人称经验扩展跨多种机器人的移动操作世界模型
Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
用相机位姿和投影骨架将人类与机器人的动作统一为同一种格式，并用 1.3 万小时数据进行训练，构建了可用于多种机器人的第一人称移动操作世界模型。
问题
现有机器人世界模型集中于固定机械臂和夹爪操作，难以处理行走中变化的视角或手指级别的操作。各机器人的动作空间不同，每出现一种新机器人都需要专用接口或额外适配。公开的第一人称人类视频数据常常缺少相机轨迹和手部位姿标注，或标注不准确。
方法
汇集 14 个公开人类数据集、6,000 多小时自有四鱼眼相机录制数据和 13 个机器人数据集，构建了 Xp-Data（人类约 1 万小时，机器人约 3 千小时）。数据经过 VLM 过滤、基于 SLAM 的相机轨迹估计、手部位姿估计、机器人关键点人工标注与校正，以及多阶段质量检查。移动用 Plücker-ray 相机图表示，操作用投影到图像上的骨架渲染表示，从而将人类、夹爪和人形机器人统一为相同的条件格式。在基于 Wan2.2 的视频扩散 Transformer（5B 及 A14B MoE）中加入这些条件，预测未来的第一人称视频。之后通过蒸馏实现了实时生成。
结果
- 作者报告称，在 DreamDojo、Ψ0、ω-HOME、Xp-Teleop、AgiBot 五个跨 embodiment 基准以及单独的人类第一人称视频上，从 zero-shot 到全量数据后训练均取得了最佳性能。
- 人类视频预训练数据越多，人类视频和机器人视频的预测性能都越好。
- 蒸馏后可实现 1 分钟长的实时 rollout 和 VR 实时交互。
- 在策略评估（排序）、基于模型的规划、world-action 模型初始化等应用中展示了实用性。
局限
在已查阅的正文范围内看不到各基准的具体数值，性能优势的大小需查看原文表格确认。机器人骨架对齐需要大量人工标注，扩展到新机器人时会产生成本。自有基准 Xp-Teleop 约 1 小时，规模较小。
意义
通过数据规模扩展实验，给出了可以用丰富的人类第一人称视频代替昂贵的机器人数据来扩展机器人世界模型的依据。不区分机器人类型的通用条件接口，对人形机器人策略评估和规划具有实用价值。
关键术语
- 世界模型
- 给定当前观测和动作，预测世界接下来会呈现什么样子的模型。用于让机器人预先设想动作的结果。
- Loco-manipulation
- 同时执行行走或移动动作（locomotion）与操作物体（manipulation）。
- Plücker-ray 图
- 将每个像素所对应 3D 光线的方向和位置表示为 6 通道图像，以像素级方式向视频模型告知相机运动。
- Cross-embodiment
- 对人类、夹爪机器人、人形机器人等身体结构不同的主体共用同一个模型。
原文
作者: Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, 等 · 发布 2026-10-19 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。