论文解读 · 2026年10月16日
Any Time, Any Space：以世界状态为中心的智能体式视频生成框架
Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation
将剧本转换为明确指定地点、相机和事件时间的镜头请求，并且只在验证后才更新场景记忆和事件记忆，从而提高了不相邻镜头之间的空间和时间一致性。
问题
在把长视频拆成多个镜头来生成的智能体式视频生成中，需要回到之前的地点，或从另一个视角重新呈现先前的事件。现有方法只传递提示词、最近的帧和参考图像，缺少共享坐标系和记录了时间顺序的事件信息。因此，很难在不连续的镜头之间保持一致性。
方法
ATAS 递归地拆分剧本，生成包含场景、空间锚点、相机、时间区间和事件 ID 的镜头请求。场景记忆存储在共享坐标系中配准的静态点云，并按请求的相机视角重新渲染，作为参考提供给生成器。事件记忆存储按场景、事件和时间索引的动态 RGB-D 与掩码信息，并取出与请求匹配的记录使用。生成的片段经过重建和配准后，只有同时通过影片审查、坐标系配准和状态更新检查，才会写入记忆。是否用于最终视频与是否写入记忆分开决定。
结果
- 在 Wan 3.0 骨干上，VBench、ST-Bench 和 ViStory 的平均分为 0.734，高于最强的对比智能体 ReCA（0.648）。作者报告称，在全部四个生成器上综合得分均排名第一。
- 在 MiniMax-H3 骨干上平均分为 0.702，高于 ReCA（0.659）。不过，在 Wan 2.7 的 VBench 单项指标上，ReCA（0.854）高于 ATAS（0.846）。
- 在空间重访评估中，PSNRC 为 15.968，SSIMC 为 0.385，高于包括基于 3D 的方法 ViewCrafter（15.255，0.375）在内的对比方法。
- 在事件重现评估的 5 项标准中，有 3 项排名第一。视角实现得分为 0.650，高于 ReCA（0.500）；但动作与状态得分为 0.688，低于 ReCA（0.700）。
- 作者报告称，在人工评估的全部 6 项标准中，其平均得分均为最高。
局限
事件重现由 VLM 评判模型以原始事件帧为基准打分，不使用真实视频，因此评估依赖于评判模型。事件记忆只存储帧级动态信息，并不是按对象组织的运动模型。在事件重现的 5 项标准中，有 2 项没有排名第一。由于提供的正文中途被截断，未能确认成本和消融实验结果。
意义
这是一种实用的结构，可以减少多镜头 AI 视频制作中再次呈现相同地点和事件时出现的不一致。不盲目信任生成结果、只将经过验证的观察写入状态的设计，也值得其他智能体系统在记忆管理上借鉴。
关键术语
- 世界状态（World State）
- 将场景记忆（静态几何信息）和事件记忆（按时间索引的动态观察）组合在一起的持久状态。在生成每个镜头之前查询，生成后通过验证才会更新。
- 空间重访（Spatial Revisit）
- 在其他镜头之后，生成回到先前出现过的地点的镜头的任务。通过与目标图像比较来评估是否保持了原有的场景布局。
- 事件重现（Event Recapture）
- 从新的相机视角重新生成先前发生的事件的任务。考察动作和时间顺序是否与原事件一致。
- 配准（Registration）
- 将从生成片段中重建的 3D 信息对齐到已有场景坐标系的步骤。如果这一步失败，片段仍可用于视频，但不会写入记忆。
原文
作者: Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, Haoyu Zhao, Yefei He, Donny Y. Chen, 等 · 发布 2026-10-14 · 许可 CC BY-SA 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。