EgoXperience：从人的第一人称经验中学习基于世界的表征

问题

要从头戴相机拍摄的第一人称视频中三维重建人的活动，相机运动、周围场景结构、手与物体的交互必须在一个一致的空间内相互吻合。现有方法只重建其中一部分，要合并多个模型的输出，就必须对齐彼此不同的尺度和坐标系。此外，用于训练这种统一模型的联合标注数据因手-物体遮挡、快速头部运动和运动模糊而难以制作，通常需要多相机或动作捕捉等昂贵设备。

方法

核心是名为 EgoX-Engine 的自动标注流水线。在由 31 台相机组成的圆顶装置中预先扫描物体网格，并用 AprilTag 确定真实尺寸。在视频中，先用首帧掩码指定目标物体，再用立体深度估计初始位姿并用 FoundationPose 跟踪，同时验证将模型放置在估计位姿时是否与观测深度一致。利用 SLAM 得到的相机轨迹，将物体、场景、手的标注转换到同一会话坐标系中。由此构建了 50 小时的 EgoX-Data-6M（含 101 个物体、270 个任务脚本、秒级字幕），并划出 1 小时作为评估用的 EgoX-Bench。模型 EgoX 在 DINOv3 特征之上设置相机、手、物体 token，通过视图内和视图间注意力构建联合表征，然后用预测的相机将手和物体转换到世界坐标，连同其几何一起进行监督学习。尺度头为每个序列预测一个米制尺度值。

结果

• 作者报告，与最强基线模型相比，相机误差降低 68.9%（HOI4D nATE），手部误差降低 65.6%（EgoX-Bench W-MPJPE），深度误差降低 42.9%（EgoX-Bench AbsRel）。
• 物体位姿得分以 HOT3D AUC-S50 计提升了 28.0%。
• 在 HOT3D、EgoX-Bench、HOI4D、H2O 四个基准上，深度、手、物体指标均排名第一，相机精度在 HOI4D 上最高。
• EgoX-Data-6M 是对比表所列数据集中唯一同时涵盖室内工作台操作、房间间移动、户外步行操作，且具备 3D 手、6DoF 物体、网格、深度、掩码、字幕全部标注的数据集。
• 作者表示，EgoX 是对比对象中唯一以单次 forward pass 在共享世界坐标系中 end-to-end 重建相机、深度、手和物体 6DoF 的方法。

局限

推理时需要目标物体的首帧掩码，并假设物体为刚体。数据制作需要立体头显设备、31 台相机的圆顶装置和预先扫描的物体模型，并非完全没有设备负担的方式。标注本身是 SLAM、FoundationPose 等现有方法的输出，因此其精度受这些方法的上限制约。50 小时与 Ego4D 等大型语料库相比规模较小。提供的正文在实验表格中途被截断。

意义

展示了一条无需昂贵动作捕捉即可自动标注用于机器人学习的第一人称数据的途径。在一个坐标系中一次性重建相机、场景、手和物体，就省去了后处理中对齐尺度的工作，更容易直接用于模仿学习或世界模型训练。公开数据和代码也有助于后续研究。

关键术语

Egocentric（第一人称）视频

用佩戴在头部或身体上的相机拍摄的视频。无需安装外部相机，即可近距离记录佩戴者的动作和手部操作。

SLAM

相机在移动的同时构建周围地图并估计自身位置的技术。在这里，它是将多种标注统一到同一坐标系的基准。

6DoF 物体位姿

物体的三维位置与三轴旋转合起来的六自由度值。表示被操作对象的放置方式和旋转状态。

MANO

用少量参数表示手的形状和关节姿态的标准 3D 手部模型。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• 代码
• 项目
• Hugging Face

作者: Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, 等 · 发布 2026-10-19 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。