JEPA

工作原理

首先遮住图像或视频的一部分，只把可见部分（上下文）展示给模型。模型不按像素还原被遮挡部分的样子，而是预测概括该部分的数字表示（嵌入）是什么。正确答案同样是用相同方式概括的表示，因此模型会把注意力放在“什么东西在哪里”这类含义上，而不是每一片树叶这样的琐碎细节。它属于“自监督学习”的一种，无需人逐一标注正确标签，而是从数据本身学习。

发展历程

起点是 2023 年论文《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》中的 I-JEPA。它让模型看图像中的一个区域并预测其他多个区域的表示，证明了即使没有人工设计的数据变换，也能学到有意义的图像理解。2024 年《Revisiting Feature Prediction for Learning Visual Representations from Video》中的 V-JEPA 把同一思路扩展到视频，在不借助文本或现有图像模型的情况下，仅通过预测视频中的特征，就构建出同时理解运动和外观的模型。2025 年的“V-JEPA 2”先用大规模互联网视频学习，再加入少量机器人视频，发展成能看着目标图像规划抓取、搬运物体的“世界模型”。2026 年又陆续出现了将其应用于自动驾驶的 Drive-JEPA（用驾驶视频进行预训练，并同时学习多种行驶轨迹）、改为同时预测未来场景和车辆运动的 WA-JEPA，以及把未来预测当作多种可能性而非单一答案来处理、从而对噪声更稳健的 Flow-JEPA 等。

为什么重要

它可以从人未加标签的海量视频和图像中学习世界的结构，数据准备负担较小。由于不重新绘制像素，不会把计算浪费在不必要的细节上，更容易获得以含义为主的理解。尤其是以概括形式预测“接下来会发生什么”的能力，作为世界模型的基础，在机器人、自动驾驶等需要规划行动的领域备受关注。

注意事项

JEPA 不是生成图片或视频的生成模型，而是学习用于理解和预测的表示的方法。因此，它本身通常不直接展示产出，而是作为其他任务（分类、问答、规划等）的基础。防止模型把所有输入都压成相同表示的“表示坍缩”是一项重要课题，近期研究集中在改进含噪环境下的稳定性以及处理不确定未来的方法上。

示例

在研究中，JEPA 主要用于预先训练机器人和自动驾驶中的“世界理解”部分。例如，V-JEPA 2 研究先用互联网视频学习世界如何运动，再只加入少量机器人视频，就让一台位于从未见过的实验室中的机器人手臂看着目标照片规划抓取、搬运物体。自动驾驶领域也在研究先用驾驶视频进行 JEPA 式预训练，再在其上加装决定行驶路线的模块。

相关术语

世界模型 嵌入 Transformer VLA 扩散模型 多模态

参考资料

• Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture (2023)
• Revisiting Feature Prediction for Learning Visual Representations from Video (2024)
• V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning (2025)
• Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving (2026)
• WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving (2026)
• Flow-JEPA: Robust Latent Dynamics for JEPA World Models via Flow Matching (2026)