论文解读 · 2026年10月21日
Holi-World：从人的第一人称经验中构建整体性世界智能
Holi-World: Building Holistic World Intelligence from Human-Ego Experience
构建了将第一人称记录自动转换为世界记录（world record）的流水线，以及用约 8 万个 QA 训练的 4B 视觉-语言模型，提升了空间与时间理解性能。
问题
人的第一人称记录中包含世界如何构成、如何因交互而变化的丰富信息。但要把它变成大规模训练资源，需要跨视角和时间连接场景结构、物体语义和交互历史，目前在很大程度上依赖昂贵的人工标注。
方法
作者提出了连接经验收集、世界表示、自动数据构建、模型训练和独立评估的生态系统 HOLI-WORLD。HOLIWORLD-Foundry 结合静态感知与动态感知，自动生成将持续的场景结构和变化的物体状态与交互历史及依据观测相连接的 world record。将自行收集的约 100 个场景的记录整理为 HOLIWORLD-Data，并用从中提取的约 8 万个 QA 对训练了 HOLIWORLD-VL-4B。在单独留出的记录上由人独立添加的标注构成 HOLIWORLD-Bench，同时评估标注质量和习得的空间、时间理解能力。
结果
- 作者报告，在 ScanNet、ScanNet++、Aria Digital Twin、HOLIWORLD-Bench 实验中，静态感知和动态跟踪均表现强劲。
- 作者报告，用 HOLIWORLD-Data 训练后，HOLIWORLD-VL-4B 的空间、时间推理性能在 HOLIWORLD-Bench 和 EgoDynamic4D 上大幅提升。
- 从约 100 个自行收集的场景中自动生成约 8 万个 QA 对，在降低对人工标注依赖的同时获得了训练资源。
局限
由于是基于摘要的分析，没能看到正文，无法确认具体数值、对比基线或失败案例。摘要中报告的性能只有「强」「大幅提升」这类定性表述。自行采集的场景数量约 100 个，规模有限；自动构建的 World record 的准确性受限于上游识别模块的性能，这一点仅凭摘要难以评估。
意义
把第一人称记录在不做人工标注的情况下转化为学习资源的流程，减少了机器人与智能体理解动态真实世界所需的数据瓶颈。其特点是把数据构建、模型训练和独立评测设计为一个整体。
关键术语
- World record（世界记录）
- 这是本文使用的说法，指把持续的场景结构与变化的物体状态同交互历史及依据观测关联起来并加以结构化的记录。
- 静态感知 / 动态感知
- 静态感知处理不变的场景结构与布局，动态感知处理物体移动、状态改变的过程。两者结合才能解释交互。
- 空间·时间推理
- 即回答物体在哪里、彼此之间是什么位置关系（空间），以及什么在何时按什么顺序发生了变化（时间）的能力。
原文
作者: Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, Xuan-Li Chen, Jing Zhao, Fangzhou Hong, 等 · 发布 2026-10-19 · 许可 CC BY 4.0 · 基于摘要分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。