论文解读 · 2026年10月9日
Kuration SDK：用数据整理解决 Virtual2Real 差距
Kuration SDK: Addressing the Virtual2Real Gap via Data Curation
比较用 CS:GO 和 CS2 游戏数据训练的扩散世界模型，表明 FVD、LPIPS 无法反映实际可玩质量，并借助数据诊断工具将原因缩小到“动作—画面变化”幅度的差异。
问题
动作条件世界模型的质量指标尚未成熟。FVD、LPIPS、JEDi 等视频相似度指标能否反映实际的“可玩性”（瞬移、穿墙、操作响应性等）也不明确。基于动作语义或物理的基准测试也需要针对各个游戏的估计器或探针，无法提供通用信号。作者将这一差距称为 Virtual2Real 差距。
方法
首先用公开的 CS:GO 数据复现 DIAMOND，确认训练与评估流水线与原论文一致。接着用在地图（de_dust2）、帧率、动作编码和规模上都对齐的 CS2 数据，训练未经整理的 baseline_v1。然后用开源的 Kuration SDK 测量数据的诊断特性，包括测量按键后光流（Optical flow）位移的 pixel_shift 和 action_state_consistency、碰撞检测、基于 SLAM 的轨迹重建等。在这些测量的基础上，比较了基于覆盖率、稀有轨迹加权、碰撞感知、基于动作—状态一致性等 4 种数据整理策略。
结果
- 复现实验中，FVD 比 DIAMOND 报告值低 4.4%，LPIPS 高 4.2%，作者报告称这在评估噪声范围之内。用自有流水线评估公开权重时，结果与原论文数值的差距在 1% 以内。
- 在 CS2 测试集上，baseline_v1 的 LPIPS 为 0.4785，比 DIAMOND（0.6049）好 20.9%，FVD 也相当或更好。但作者报告称，在交互式 Rollout 中其可玩性更低。FVD 最佳值出现在 600 个 epoch 中的第 60 个 epoch，作为训练终止标准也不合适。
- 动作—状态一致性分析显示，CS:GO 对单个按键输入的响应幅度是 CS2 的 1.4~2.1 倍。松开按键后的运动幅度，CS:GO 反而增大到按键期间的 112~126%，CS2 则缩小到 76~78%。后退/前进对称度方面，CS:GO 为 26%，CS2 为 80%。
- 4 种数据整理策略中，基于覆盖率、稀有轨迹和碰撞感知的策略改善了部分指标，但没有改变可玩性。据报告，只有依据诊断结果进行的动作—状态一致性筛选在可玩性上比 baseline_v1 有定性改善。
局限
可玩性并非按正式协议评估，而是作者本人在非盲条件下观看 Rollout 后判断的，因此无法排除预期偏差。动作—状态一致性策略的定量指标和训练计划尚未确定，目前只有定性结果。部分策略的 LPIPS、FVD、JEDi 也因 GPU 不足而未能测量。缺少将响应幅度与动量、对称性分离的受控消融（Ablation），以及反向整理之类的阴性对照。两份数据的引擎世代（Source vs Source 2）也不同，其影响可能部分混杂其中。
意义
以具体案例说明，在训练游戏和机器人用世界模型时，如果只凭视频质量指标挑选数据或模型，可能会忽略实际操控性问题。论文还提出了在训练前测量数据“动作—响应”特性的实用诊断思路，并公开了相关工具。
关键术语
- 动作条件世界模型（Action-conditioned World Model）
- 接收过去的帧和用户输入（动作），预测下一帧画面的模型。可用于游戏模拟，或作为机器人策略学习的虚拟环境。
- Virtual2Real 差距
- 本论文定义的术语，指 FVD、LPIPS 等指标得分与实际上手游玩时的质量之间的不一致。作者认为这一问题更多源于训练数据分布，而非模拟器的精度。
- FVD / LPIPS
- FVD 衡量视频特征分布之间的距离，LPIPS 衡量逐帧的感知差异，二者都是生成视频的质量指标。它们都难以捕捉位置瞬移、穿墙这类跨越多帧的物理违规。
- 动作—状态一致性（Action-State Consistency）
- 表示相同输入是否总能产生相似画面运动的数据特性。本论文通过按键后的光流（Optical flow）位移来测量。
原文
作者: Nirmit Desai, Eric Song, Mayank Sengupta, Tejal Bedmutha, Siri Reddy, Sahiti Dharmavaram, Kunal Sawarkar · 发布 2026-10-07 · 许可 CC BY-SA 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。