LeCuration：用作数据整理多用途工具的小型世界模型

问题

如果把物理 AI 的训练数据全部拿来用，模型也会照单学习其中的异常片段。人工筛选难以扩展规模，基于规则的过滤器又需要通常无法获取的物理引擎状态。因此需要一种轻量工具，能快速了解数据集中哪些是典型的、哪些是罕见的、哪些是出乎意料的。

方法

以 LeWorldModel（LeWM）为基础，构建了一个专用于数据整理的小型模型。先用 TAESD 将帧压缩为 4×28×28 的潜变量（Latent）（48 倍），再由约 200 万参数的 patch-ViT 编码器为每一帧生成 196 维的世界状态（CLS token）。约 1,300 万参数的因果 Transformer 预测器根据过去 6 个状态和动作预测下一个状态。训练先进行使用预测 MSE 和 SIGReg 正则化的预训练，再进行 50 帧自回归后训练。用于可视化的 DiT 解码器单独训练，不参与数据整理。数据整理工具包括嵌入聚类（UMAP+HDBSCAN）、最近邻检索，以及预测—观测嵌入距离 d_t。

结果

• 作者报告称，在一张 40GB A100 上，预训练 120 分钟、后训练 60 分钟、DiT 解码器 30 分钟，整个训练在几小时内完成。
• 对 100 万个 CLS 嵌入进行聚类后，即使没有标签，也得到了开阔视野、近距离室内、烟雾、瞄准镜画面等按场景划分的簇（定性评估）。结果表明可用来筛除瞄准镜画面这类异常簇。
• 将自回归预测的嵌入替换为 100 万帧中最近邻的真实帧后，场景、视角和光照都与真实序列一致。但手持武器经常表现错误，由此得出需要增加武器切换和射击数据的诊断。
• 预测—观测嵌入距离 d_t 在罕见动作导致场景瞬移到地图其他位置的片段中急剧上升，约 350 帧后随着复原而下降，表明它有可能用作无监督异常信号。

局限

正如作者所述，这是针对 CS:GO 单张地图（de_dust2）的定性概念验证。既没有衡量数据整理质量的定量指标，也没有用整理后的数据训练更大下游模型的结果。聚类结果未与真实的位置、方向标签进行比较。d_t 的激增不仅可能来自物理异常，也可能由累积预测误差、分布外动作或录制中断引起。区分应丢弃的帧和应多采样的帧的阈值也尚未确定。

意义

提出一种实用思路：在为机器人或游戏智能体训练大型世界模型之前，先用几小时内即可训练完成的小型“侦察”模型，了解数据的偏斜、缺陷和稀有片段。其优点是无需物理引擎状态或标签，只靠视频和动作记录即可运行。

关键术语

JEPA(Joint-Embedding Predictive Architecture)

一种自监督方法：不直接重建像素，而是训练模型在嵌入空间中预测下一帧的嵌入。

SIGReg

一种正则化项，将嵌入分布推向各向同性高斯分布，以防止所有输入坍缩为同一表示的表示（Representation）坍缩。

TAESD

由 Stable Diffusion 自编码器蒸馏而来、参数量为 240 万的轻量自编码器，可将图像快速压缩为小尺寸潜变量（Latent）并还原。

嵌入发散（Embedding Divergence）d_t

预测器预期的下一状态嵌入与实际帧嵌入之间的欧氏距离。数值激增意味着模型遇到了未预料到的片段，可作为异常检测的候选信号。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Mayank Sengupta, Nirmit Desai, Eric Song, Kunal Sawarkar · 发布 2026-10-07 · 许可 CC BY-SA 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。