专题深读 · 2026-11-16 · 基础 · 作者 bombong
JEPA:在潜在空间中预测而非重建像素的预训练
JEPA 不会把被遮挡的部分重新绘制成像素,而是让模型在嵌入空间中猜出这部分“会是什么”,从而学到有意义的表示。它从图像出发,扩展到声音、传感器、卫星图像和驾驶视频,近来将其与行动规划和语言模型相连接的研究也在增加。
目录
- JEPA 让模型用可见部分(上下文)去预测被遮挡部分(目标)的嵌入,而不是其原始像素。因此,学习容量被用在可预测的结构上,而不是无法预测的细节上。
- 由于目标嵌入也由模型自己生成,可能出现把所有输入都映射到同一向量的“坍缩”。需要像辅助任务这样能稳住表示的机制。
- 遮挡哪里、以什么为条件,决定了性能。因此出现了预测顺序、标题条件、不确定性建模等变体。
- 近来,V-JEPA 系列的表示被连接到驾驶规划选择和视频语言模型上。不过,即使编码器中包含了信息,“读出”这些信息的训练仍需单独设计。
- 仅靠潜在空间预测并不能保证鲁棒性。在医学影像研究中,表示在噪声和攻击下出现了大幅波动。
为什么需要它:重建像素的预训练所面临的难题
在用大量无标签数据预先训练模型的预训练中,常用的方法是“遮挡再猜”。把图像或声音的一部分抹去,让模型还原原样,这样无需人工标注答案,数据本身就成了题目和答案。这被称为自监督学习。
但如果要求模型按像素或波形原样还原,模型就会努力去匹配树叶纹理、相机噪声、背景杂音这类本来就无法预测的细节。用来学习之后真正有用的“这是什么、如何摆放”这类语义的容量也就相应减少。
JEPA(Joint-Embedding Predictive Architecture,联合嵌入预测架构)为避开这一问题,改变了预测对象。Audio-JEPA(paper)将 JEPA 介绍为“在高层特征空间中预测被遮挡区域潜在表示的自监督学习框架”,它不还原原始音频,而是预测频谱图块的潜在表示。将 JEPA 应用于传感器时间序列的 CHARM(paper)也指出,在潜在空间中预测的方式能引导出对传感器噪声更强健的表示。
核心思想:不“重新绘制”,而是“说出会是什么”
假设遮住照片的一部分,出两种考题。第一种要求用画笔把被遮住的部分原样画出来,连一根毛、一处阴影都要画对才得分。第二种只要求说出要点,比如“这里应该是一只正面朝前的小狗的头”。要考好第二种,需要理解场景,但不需要画功。JEPA 出的是第二种考题。
名称中的“联合嵌入”指把可见部分和被遮挡部分映射到同一个嵌入空间(用数字向量表示语义的空间)。“预测”指在这个空间里用一侧的向量去猜另一侧的向量。由于答案是向量而不是像素,无法预测的细节可以在生成向量的阶段被过滤掉。
这也有代价。结果不以像素形式输出,因此无法直接用于生成图像。由于目标向量由模型自己生成,训练也有朝错误方向坍塌的风险。与另一种替代方法对比学习(把同一对象的两种视图拉近、把不同对象推远的方法)相比,JEPA 不需要另外挑选“不同对象”的样本,仅靠预测就能学习。Text-Conditional JEPA(paper)报告称,仅通过特征预测进行的视觉-语言预训练在多项任务上优于对比方法,尤其是在需要细粒度视觉理解和推理的任务上。
像素重建与 JEPA
像素重建重新绘制遮挡部分
- 答案是原始像素·波形
- 连无法预测的细节也要匹配
- 可直接用于生成
JEPA猜出遮挡部分的嵌入
- 答案是目标编码器的嵌入
- 专注于可预测的结构
- 需要防止坍缩的机制
공통 不使用标签、以数据本身进行学习的预训练方法
如何运作:两个编码器和一个预测器
按步骤看,运作流程如下。首先,把输入切成小块(patch)。如果是图像,就是方形小块;如果像 Audio-JEPA(paper)那样处理声音,就是梅尔频谱图(把声音转换成时间×频率图像)的小块。从中选出一部分作为“目标”遮住,其余保留为“上下文”。
第二,上下文编码器把可见的小块转换为嵌入。第三,目标编码器查看被遮挡小块的原始内容,生成“目标嵌入”。第四,预测器接收上下文嵌入以及“要猜哪里”的位置信息,预测目标嵌入。第五,以缩小预测向量与目标向量之间差异的方向进行训练。训练结束后,通常只取出编码器,用于分类、检索、规划等其他任务。很多情况下会像 CHARM(paper)那样,固定编码器、只在上面加一个线性分类器,用线性探针来衡量表示的质量。
这种结构有一个弱点。由于目标也由模型生成,如果把所有输入都映射到同一向量,预测就总是正确,损失变为 0。这被称为表示坍缩。辅助任务研究(paper)分析了一种简单的 JEPA 变体,它在预测潜在状态转移的同时训练一个辅助回归头。结果证明了“No Unhealthy Representation Collapse”定理:在确定性环境中,当两个损失都趋于 0 时,转移方式或辅助值不同的观测必然会被映射到不同的表示。这意味着辅助任务起到了锚的作用,稳住“需要区分什么”。
发展脉络:从图像到声音、传感器、驾驶视频
在图像方面,研究改进了“按什么顺序猜哪里”。DSeq-JEPA(paper)指出,I-JEPA 一次性并行预测被遮挡区域,因而无法设定顺序。于是它先从由注意力生成的重要性图中找出核心区域,再按重要程度依次预测其余部分。这是一种模仿人先看重要线索的、类似课程学习的顺序。论文报告称,在分类、细粒度分类、检测与分割以及 CLEVR 推理等多项任务上都得到了更好的表示。Text-Conditional JEPA(paper)用图像标题来解决被遮挡位置本身不确定、导致预测困难的问题。通过对文本 token 的稀疏交叉注意力来调整预测特征后,下游任务性能和训练稳定性都得到了提升。
它也迅速迁移到了其他数据上。Audio-JEPA(paper)几乎只是把原始模型原样搬到音频上,就取得了与 wav2vec 2.0、data2vec 相近的性能。所用训练数据不到它们的五分之一,也没有做超参数调优。CHARM(paper)把每个传感器通道附带的说明文字输入模型,仅凭线性探针就很好地完成了异常检测、分类和预测。分析认为,性能主要来自 JEPA 目标和条件结构,说明文字则起到标识符的作用,使模型即使在不同数据集上也能识别通道。CAPE-JEPA(paper)处理的是 SAR(雷达)与多光谱图像等物理上不同的传感器之间的检索。它指出此前的 X-JEPA 假设所有图块都同样可预测,并采用了为每个图块输出均值和方差的概率预测器。结果在 BEN-14K 上最多领先 X-JEPA 13.74 分,在 fMoW 上最多领先 15.59 分。
扩展到视频的 V-JEPA 进入了驾驶领域。Drive-JEPA(paper)用大规模驾驶视频以 V-JEPA 方式预训练 ViT 编码器。仅在这一表示上接一个简单的 Transformer 解码器,在 NAVSIM 的无感知模块设置中就比现有方法高出 3 PDMS;整体框架在 v1 上达到 93.3 PDMS,在 v2 上达到 87.8 EPDMS。
当前走向:把预测连接到行动和语言
近期的趋势是把 JEPA 学到的关于“未来会如何变化”的表示用于实际决策。ActWorld-JEPA(paper)的出发点是:在潜在空间中一致地预测未来,并不意味着能判断候选驾驶规划中哪个更好。因此它以候选 Trajectory(规划路径)为条件预测未来潜在状态,并根据规划与预测的未来吻合或偏离的程度修正规划得分、重新排序。它在 NAVSIM v1 navtest 上报告了 94.1 PDMS,但也说明最终选择器使用了 NAVTEST 汇总反馈进行校准。看这个数字时需要同时考虑这一条件。这种输入行动来预测未来的结构接近世界模型(在内部模拟世界将如何变化的模型)。
V-JEPA-LM(paper)关注语言方面。V-JEPA 这类视频编码器会学到方向、速度、顺序、状态变化等动力学信息。但用标题和问答把它接到语言模型上时,这些信息却没有被利用。在同样的题目上,用冻结的 V-JEPA 特征对速度做线性探针可以答对 87%,而 VLM 的回答仅处于随机水平。研究人员通过像素变换构造了“只有变化不同”的反事实训练数据,让语言模型读取这些信息。结果 4B 模型在 11 个视频基准上平均得到 72.1 分。同等规模的最佳公开 4B 模型为 61.1 分,公开 8B 最佳模型为 64.8 分。
两项研究共同给出的结论是一致的:编码器决定“能读出什么”,其上的训练信号决定“实际读出什么”。JEPA 表示的价值,要等到取用这些表示的一侧也设计到位才能体现出来。
11 个视频基准平均分
局限与争议,以及实践中的判断标准
第一是鲁棒性。一项胸部 X 光研究(paper)对用 NIH ChestX-ray14 的 78,468 张图像训练的四个 JEPA 编码器进行了攻击、噪声、亮度、对比度变化等六种测试。结果编码器嵌入的余弦相似度最低降至 0.33,最坏情况下(I-JEPA,Boundary 攻击)AUROC 下降 0.12。同时使用干净图像和变形图像对预测器进行对抗微调后,嵌入一致性在几乎所有情况下都超过 0.97。相反,仅用干净图像训练的向量量化码本反而变差了。这说明潜在空间预测可以“引导”出对噪声更强健的表示,但不能保证这一点,必须直接用变形数据训练才能获得鲁棒性。
第二是不确定性。被遮挡的位置会出现什么,本来就可能有多种答案。Text-Conditional JEPA(paper)加入标题条件、CAPE-JEPA(paper)加入逐图块方差预测,也是出于这个原因。第三是坍缩。正如辅助任务研究(paper)所示,如果没有告诉模型需要区分什么的信号,表示可能会丢失必要的区分。
按实践标准总结如下:当标签少而无标签的影像、传感器数据多,且最终用途是分类、检索、规划这类“语义判断”时,JEPA 很合适。如果是必须以像素或波形输出结果的生成任务,则需要另外的解码器。常见错误有三种:只看损失值下降而忽略了坍缩;把针对图像的均匀遮挡直接用于医疗、卫星等结构不同的领域;只看干净验证数据上的性能就部署。尤其在医疗这类会影响患者的领域,研究基准上的数值并不代表实际诊疗性能。最终判断的责任在于人。
引入 JEPA 前的检查
适用性
- 无标签数据是否充足
- 最终用途是否为分类·检索·规划等语义判断
- 如需像素输出,是否另设了解码器
训练
- 是否用线性探针检查了坍缩
- 遮挡位置是否符合领域结构
- 是否有处理预测不确定性的条件或机制
部署
- 是否用噪声·变形数据测试了鲁棒性
- 是否单独设计了读出表示的一侧的训练
- 是否有由人做最终判断的流程
延伸学习
这份列表中没有 I-JEPA 或 V-JEPA 的原始论文,因此建议以各论文引言部分的说明作为起点。初次熟悉结构时,Audio-JEPA(paper)比较合适。它把原始设计简单地迁移到音频上,编码器、预测器、遮挡分别是什么,一目了然。
接下来阅读处理图像方面改进的 DSeq-JEPA(paper)和 Text-Conditional JEPA(paper),就能把握“猜哪里”“以什么为条件”这两个设计维度。如果想从理论上了解坍缩为何发生、如何防止,可以阅读辅助任务研究(paper)。
如果对机器人、驾驶等世界模型方向感兴趣,可以从 Drive-JEPA(paper)接着读 ActWorld-JEPA(paper);与语言模型的连接则看 V-JEPA-LM(paper)。若要在实际部署前评估风险,强烈建议同时阅读胸部 X 光鲁棒性研究(paper)。
相关术语
参考资料
奠基论文
- Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning (2025)
- DSeq-JEPA: Discriminative Sequential Joint-Embedding Predictive Architecture (2025)
- Text-Conditional JEPA for Learning Semantically Rich Visual Representations (2026)
- Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings (2026)
- CAPE-JEPA - Cross-modal Adversarial Probabilistic Embedding JEPA (2026)
- Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving (2026)
- Why and How Auxiliary Tasks Improve JEPA Representations (2025)
最新研究
- ActWorld-JEPA: Action-Conditioned JEPA World Models Meet Latent Planning for End-to-End Autonomous Driving (2026)
- V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations (2026)
- Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations (2026)
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。