Dreaming（做梦）：AI 如何“离线”学习

为什么需要：只在清醒时学习的局限

通常的学习只有一个阶段：“看到数据就当场修改权重”。这种方式有三个漏洞。第一，记忆越积越多，彼此就会相互干扰。联想记忆的代表性模型 Hopfield 网络用 Hebb 规则（加强同时激活的神经元之间连接的规则）存储模式。裁剪 Hopfield 研究（paper）指出，存入的模式过多时，会发生灾难性遗忘，任何一个模式都无法被恢复。

第二，真实经验很昂贵。让机器人抓取物体，或让无人机到现场飞行采集视频，都需要时间和人力。第三，经验只会堆积而不会被整理。编程智能体即使完成了大量任务，如果这些记录没有转换成可用于下一个任务的形式，也会重复同样的错误。

Dreaming 对这三个问题给出了相同的答案：安排一段不与真实世界交互的独立时间，让模型在这段时间里重新处理自己生成的信号或积累的记录。这个名字来自人类的睡眠和梦，但实际上它是一种工程设计，用来决定“何时、以什么为材料、朝什么方向修改模型”。

核心思路：白天经历，夜晚整理

打个比方，这就像运动员的一天。白天参加真实比赛，晚上回放比赛录像，并在脑中预演下一场比赛。在录像中改掉错误习惯，在想象中练习实际很难尝试的情况。在 Dreaming 中，“白天”是接收真实数据的阶段，“夜晚”是在模型内部生成或回放信号的阶段。

从所收录的研究来看，梦境阶段所做的事大致分为四类。遗忘型有意让模型更少记住梦中出现的模式，以减少干扰（Hopfield 系列）。练习型在世界模型（预测世界将如何变化的模型）中用想象的经验学习行为。预测型在训练时让模型提前预测未来的感知，以获得更好的表征（机器人触觉）。整理型从积累的记录中提取可复用的知识并加以整理（LLM 智能体）。

这四类共有的设计选择是“用计算代替真实经验”这一权衡。多层联想记忆研究（paper）从理论上展示了这一点：在以数据的无序程度和“睡眠时间”为两个坐标轴的相图中，可以看出数据与计算之间的权衡。也就是说，数据越少或越杂乱，就越可以通过在离线整理上投入更多计算来弥补。

如何运作：清醒与梦境的循环

Dreaming 系统大体按以下顺序运行。1）在清醒阶段接收真实数据或经验。2）将其积累到记忆（权重、经验存储、记录存储）中。3）在梦境阶段基于这些记忆生成信号，可能是随机模式、世界模型展开的想象 Rollout，或对未来触觉的预测。4）过滤或标记生成的信号。5）据此修改模型：遗忘、强化或另行整理。然后回到 1）。

遗忘型的原理如下。Hopfield 网络在梦境阶段随机给出的状态，接近于由存储模式混杂而成的“伪记忆”。对其进行反向学习（unlearning），可以减少多个模式共同造成的干扰。多层联想记忆研究（paper）对此说得更精确：梦会挑出数据相关矩阵中特征值较大的方向，即多个模式重叠并强烈共振的干扰方向，将其削弱，同时保留信号本身。

练习型和预测型方向相反：不是遗忘，而是把模型生成的未来当作学习材料。此时关键是第 4）步。梦可能出错，因此会配套相应机制：只使用经过验证的记录（技能 Dreaming），标记为梦并隔一段时间隔离使用（Dream Layer），或由人工筛选（世界模型数据研究）。

发展脉络：从联想记忆到智能体

在记忆理论方面，有三项研究探讨了梦的“功能”。计算模型研究（paper）通过模拟表明，仅凭海马体中随机激活的信号就可以发生学习和记忆巩固，并把梦看作白天处理过程的延续。这是对“梦的内容若是随机的就没有用”这一观点的反驳。裁剪 Hopfield 研究（paper）的出发点是：为连接强度设置上限的裁剪虽然消除了灾难性遗忘，但只保留最近的记忆，容量也大幅下降。按照 Hopfield、Feinstein、Palmer 的提议，将生成随机模式并进行反学习的梦境阶段与学习交替进行后，存储容量得到提高。多层联想记忆 DLAM（paper）把梦和层间连接（将不同感官配对的学习）纳入同一个能量函数；两者同时存在时，即使在任一方单独无法达到的区域也能恢复记忆。给出混合了多种感官的线索时，它还能在每一层分别分离出一个原始模式。

在世界模型和机器人方面，梦变成了“用想象来练习”。概率 Dreaming 研究（paper）改进了通过想象经验学习的 Dreamer 模型，使其并行探索多个潜在状态，并分别保持相互排斥的未来假设。在 MPE SimpleTag 环境中，其得分比基础 Dreamer 高 4.5%，回合奖励的方差低 28%。触觉 Dreaming HTD（paper）让人形机器人不只是模仿学习动作，还要预测未来的手部关节力和未来触觉的潜在表示。目标值由一个以指数移动平均缓慢更新的独立编码器提供，因此不需要单独的触觉预训练阶段。在五项接触密集的真实任务中，相比各任务更强的基线，平均成功率相对提升 90.9%；分析还表明，在潜在空间中预测触觉比预测原始信号更有效。

在 LLM 智能体方面，梦变成了“经验整理”和“受控幻觉”。技能 Dreaming（paper）从代码仓库的 PR（代码变更请求）历史中经过验证的 PR 提取可执行知识，构建仓库专属的技能库，并在每次有新 PR 时打磨技能。这些技能不仅指导编程智能体实现功能，还指导其维护测试、文档、兼容性和仓库惯例。Dream Layer（paper）则从相反方向切入：放松逻辑检查模块并提高采样温度，有意生成离奇的故事（例如货币对不上的旅行故事），并将其用作罕见事件和边界情况安全测试的数据。它还提出了一个汇集去标识化抽象交互框架的共享梦境库。

最新动向：把梦变成数据工厂

近期研究正朝着把世界模型的梦用作真实数据替代来源的方向发展。世界模型数据研究（paper）把野生动物无人机视频作为种子输入一个 70 亿（7B）参数的世界模型，生成相同传感器、高度和环境下的新视频，并用筛选出的帧把训练集扩大了一倍多。在同一无人机未见过的视频上，mAP@50–95 在加入真实数据时提升 4.3%，替代真实数据时提升 10.3%，在城市基准上最高提升 33.5%。不过，据估计专家丢弃了约 87.5% 的生成视频。成本约为 1,100 美元的 GPU 时间，而用处更小的真实训练集仅现场人工成本就超过 3,200 美元。作者将此概括为数据成本从现场作业转移到计算的现象。

如何让梦持续更久也是研究课题。上下文压缩研究（paper）把世界模型重访去过的地方时无法一致地重新绘制该处的问题，视为“上下文检索”问题。就像 Claude Code 这类智能体 harness 为 LLM 挑选要发送的上下文一样，它也为世界模型加上了压缩上下文的 harness，无需重新训练就能恢复位于上下文窗口最多 4 倍之外的房间。相比之下，使用滑动窗口注意力的模型在做梦过程中丧失了大部分上下文检索能力。

也有研究探讨梦有多“逼真”。蝴蝶梦研究（paper）向一个只学习了光流估计的果蝇视觉系统模型展示了真实视频，以及三个小型世界模型续写的视频。在训练后的观察者反应中，全部九种梦都能与现实区分开（AUC 0.85–0.99）；而在训练前的同一网络中，训练后的世界模型所生成的梦要难区分得多（0.58–0.75）。这意味着即使像素误差很小，梦的瑕疵仍会残留在时间统计中，也说明了把梦用作学习材料时为什么需要质量检查。

局限与争议：何时使用，何时避免

第一个争议是梦的质量。大部分生成视频被丢弃（paper），训练后的观察者能轻易区分梦与现实（paper）。如果把未经过滤的梦直接混入训练，模型会连梦特有的瑕疵也一并学到。因此在实践中，应先确定“用什么来过滤”，而不是“生成多少梦”。技能 Dreaming（paper）只用经过验证的 PR 作为材料，也是出于同样的原因。

第二个是梦与现实的边界。Dream Layer（paper）作了区分：在线产生且未加标记的幻觉仍然是 bug，只有范围明确、带有标记、隔一段时间才使用的幻觉，才能成为合成场景资源。为此，它同时设置了严格抽象、时间延迟和易失性内存等控制机制。如果不给梦境数据留下来源标记，日后它与真实记录混在一起就无法还原。

第三个是成本的转移。Dreaming 节省数据，但消耗计算（paper、paper）。如果真实数据便宜又充足，就没什么理由去做梦。反之，当现场采集昂贵，或需要罕见事件、危险情况这类难以实际收集的数据时，效果最明显。世界模型本身弱，梦也会弱，因此应先检查世界模型的上下文保持能力（paper）。

一个常见错误是名称混淆。检索论文时，名字带“Dream”的扩散语言模型、容忍延迟的优化技术、代数几何中的 Mori dream space 等结果会一起出现，但它们与这里讨论的 Dreaming 无关。

延伸学习

如果想先掌握原理，最好从裁剪 Hopfield 研究（paper）读起，它最简洁地回答了“为什么遗忘随机模式会让记忆变好”这个问题。熟悉数学的读者可以接着读 DLAM（paper），了解削弱干扰模式的原理以及数据与计算的权衡。关于梦的功能的认知科学背景，可参阅计算模型研究（paper）。

如果对强化学习和机器人感兴趣，可以通过概率 Dreaming（paper）了解世界模型中想象学习的结构，再通过触觉 Dreaming HTD（paper）了解如何把未来感知预测用作辅助任务。从实际成本角度看，世界模型数据研究（paper）最为具体。

构建 LLM 智能体的开发者，可以依次阅读技能 Dreaming（paper）了解把记录整理成技能的流程，阅读 Dream Layer（paper）了解把幻觉变成受控资源的控制机制，阅读上下文压缩研究（paper）了解从 harness 角度管理长梦的方法。