专题深读 · 2026-11-20 · 进阶 · 作者 bombong
基于能量的推理器(EBR):为迭代推理加上“对了多少”的分数
基于能量的推理器(EBR)学习一个评估潜在推理状态的能量函数,并把每一次迭代计算看作降低该能量的一步梯度下降。这样,反复执行同一模块的循环模型就有了进度度量和停止信号。不过,能量地形需要精心塑造,还必须同时处理潜在状态漂移到陌生区域的问题。
目录
- 循环模型通过多次重复同一模块来增加推理深度。但它没有单独的度量来告诉模型何时停止、当前状态该朝哪个方向修正。
- EBR(2611.08977)为每个潜在状态打一个能量分数,并把迭代更新定义为对该能量的梯度下降。分数反映进展程度,梯度则指出修正方向和停止时机。
- 要塑造好能量地形,只在正确答案附近训练是不够的。需要借助基于探索的训练或使用难负例的对比学习,把更广的状态空间也塑造好。
- 优化潜在状态时,状态可能漂移到解码器在训练中从未见过的区域。在 EBRM(2603.28248)中,这一问题使 CNF 逻辑任务的准确率从约 95% 降到约 56%。
- 目前的证据来自数独、图连通性、逻辑公式等答案可验证的算法任务。推广到一般语言任务时需要另行验证。
为什么需要:在迭代,却不知道是否在变好
提升推理能力的方法之一是“循环(looping)”。让一个神经网络模块被反复通过多次,就能在参数量不变的情况下增加实际计算深度。这被称为 Loop Transformer 或 Recurrent Depth。由于可以让越难的问题迭代思考越多次,它也是增加测试时计算的一种方式。EBR 论文(paper)也把循环视为有利于推理的归纳偏置,即预先植入模型结构中的有利假设。
问题在于,现有循环模型无法自行判断自己是以什么为标准在变好。每次迭代状态都会改变,但没有显式度量告诉模型当前状态离正确答案有多近。EBR 论文(paper)指出,因此很难决定何时停止迭代、如何把当前状态改得更好。
其他方式也有类似的空白。根据 EBRM 论文(paper),一次性给出答案的解码器不做迭代打磨,而是直接确定答案。CoT(Chain-of-Thought)会用文字列出中间步骤,但没有用一个数字显示推理进展程度的度量。基于能量的推理正是试图在这个空白处填入“分数”。
核心思想:拿着高度计走向山谷
设想在大雾笼罩的山里寻找最低的山谷。即使看不清周围,只要知道高度计读数和脚下的坡度就够了。朝下坡方向一步步挪动,最终会到达谷底。脚下变平坦,就说明到底了,停下即可。
在基于能量的推理器(EBR)中,扮演高度计角色的是能量函数。能量函数接收模型“脑中”持有的潜在推理状态,并用一个数字返回“这个状态有多不合理”。能量越低,越接近好答案。循环每执行一次,就是朝能量减小的方向下降一步的梯度下降。EBR 论文(paper)解释说,能量为状态打分,其梯度同时给出打磨状态的方向和停止信号。
这个比喻也能自然地涵盖存在多个正确答案的情况。如果山里有多个山谷,从不同起点出发就会到达不同的山谷。概率分布中存在多个峰值的情况被称为“模态(mode)”;在能量地形中,每一个山谷都是一个不同的候选答案。
如何运作:打分与一步步下降
推理阶段按以下顺序进行。首先把问题输入编码器,转换为潜在空间中的表示,并初始化推理状态。接着由能量函数为当前状态打分,并计算分数减小的方向,即梯度。然后反复把状态朝该方向挪动一点。当梯度接近 0、无处可降时就停止,并用解码器把最终状态解码成答案。EBRM(paper)指出,这一下降过程除了普通梯度下降外,也可以使用 Langevin dynamics。Langevin dynamics 是一种在沿梯度前进的同时混入少量噪声的方法,使状态不会困在一个山谷里,还能探访其他山谷。
训练与其说是让模型记住正确答案,不如说更接近于塑造地形。需要降低正确答案附近的能量,同时抬高看似合理但错误的状态的能量。EBRM(paper)在编码器、解码器的监督学习之外,加入了使用难负例(容易与正确答案混淆的错误样例)的对比式能量塑造。EBR(paper)更进一步,引入了“基于探索的训练”:在训练中更广泛地遍历状态空间,发现尚未找到的模态,并在这一更大范围的状态上也塑造能量地形。
这样设计是有原因的。推理时,模型会经过训练中从未直接见过的状态。如果地形只在正确答案旁边塑造得好,起点稍远一点就会滑向错误的地方。把地形大范围地塑造好,无论从哪里出发,梯度指向有用方向的可能性都会更大。
取舍了什么:与一般循环模型的区别
一般循环模型直接学习“如何生成下一个状态”的更新规则。EBR 则学习“状态有多好”的分数,更新规则再从该分数的梯度中推导出来。这样绕一步,每次迭代都能用数字确认进展程度。由于梯度变小时停下即可,就更容易调节计算量:简单问题早点结束,困难问题多想一会儿。EBR 论文(paper)报告的推理计算节省与这一结构密切相关。
代价也是存在的。第一,每一步都要计算能量的梯度,因此单步计算可能比简单的前向传播更重。第二,训练目标是塑造整个地形,比只让模型答对更棘手;负例的选取方式和探索范围会极大地影响性能。第三,由于潜在状态被自由优化,状态有漂移到解码器不熟悉区域的风险。这一问题将在下文“发展脉络”中的 EBRM 部分详细讨论。
与 CoT 相比,区别更加明显。CoT 以人类可读的文字留下中间过程,便于解释,但没有衡量进展程度的度量。基于能量的推理的中间过程是潜在向量,难以阅读,但每一步都会留下分数。可以说两者把可解释性放在了不同的地方。若像 CRAFT(paper)那样与符号知识结合,也可以用于提高可解释性。
三种迭代推理方式
CoT用文字写出中间步骤
- 人类可读
- 没有数字化的进展度量
一般循环模型直接学习更新规则
- 通过重复模块扩展深度
- 难以决定何时停止
EBR学习分数,用梯度更新
- 每一步用能量确认进展
- 梯度即停止信号
- 地形学习棘手,有漂移风险
공통 三者都不是一次性作答,而是分多步打磨答案
发展脉络:四项研究各自增加了什么
输入资料中的四篇论文与其说是直接继承关系,不如看作从不同角度处理同一想法的研究。按时间顺序如下。
2025 年 7 月的 CRAFT(paper)处理的是视觉可供性(affordance)问题,即在场景中找出能用来执行“切”等动作的物体。它在基于能量的推理循环中,把从 ConceptNet 和语言模型获得的常识知识与 CLIP 看到的视觉证据反复对齐,从而打磨预测。作者报告称,这种方式在提高准确率的同时,也提高了判断过程的透明度。这是把能量循环用作“协调不同证据的装置”的案例。
2026 年 3 月的 EBRM(paper)把推理形式化为对多步潜在轨迹的基于梯度的优化。能量分为三项:各步骤是否与输入匹配、步骤间转移是否一致、轨迹是否平滑。这项研究的一大贡献在于指出了失败模式。在 CNF 逻辑公式满足问题中,使用潜在规划后准确率从约 95% 降到约 56%。原因是分布不匹配:解码器是用编码器输出训练的,但评估时接收的是规划器优化后的状态,即漂移到训练中从未见过的潜在区域的状态。作者提出了用两条路径训练解码器的方法和锚定潜在状态的潜在锚定(latent anchoring)作为解决方案,还提出了六路消融实验协议。
2026 年 6 月的 RW-EBR(paper)为名为 IRED 的基于能量的扩散模型加上了 Modern Hopfield 式的轨迹记忆。它检索解过类似问题的记录作为起点,即所谓的热启动。这项研究的核心不在性能,而在诊断方法。它通过 oracle、最佳常数、按查询随机、打乱、对齐这五路比较,拆分“收益从何而来”。在图连通性(connectivity-2)上,对齐值与打乱值之间的差距以平衡准确率计最多达到 +35pp。带来收益的不是偏置偏移或随机性,而是按图对齐。不过,作者也一并报告了负面结果:实际部署用的流水线未达到合格标准,在数独上则卡在了键质量阶段。
2026 年 11 月的 EBR(paper)把循环模型本身重新定义为能量函数上的梯度下降,并加入了基于探索的训练。在四个算法推理基准上,它的表现与现有递归推理模型持平或更好。在 Sudoku-Extreme 上达到 99.9% 的准确率,推理计算量比次优模型少 345 倍,训练计算量相近。在存在多个正确答案的基准上,它在找到不同有效答案的覆盖范围(coverage)上达到最高水平,同时单次采样答案的准确率仍保持在接近 100%。
局限与争议:何时使用,需要注意什么
首先要明确证据的范围。四篇论文都是在数独、图连通性、CNF 逻辑公式、合成任务、视觉可供性等结构清晰、答案可验证的任务上做的实验。在理解长文本或回答开放式问题等一般语言任务上是否也有同样收益,仅凭这些资料无法断言。345 倍这一数字也是在 Sudoku-Extreme 上与次优模型比较得到的,并非与所有推理模型比较的结果。
最常见的陷阱是潜在状态的漂移。正如 EBRM(paper)所示,即使能量持续下降,只要解码器无法正确读取该状态,准确率反而会下降。“能量降低了”和“答案对了”不是一回事。在实践中,需要逐步解码查看,并单独跟踪潜在状态漂移的程度。
第二个陷阱是弄错收益的来源。RW-EBR(paper)强调,即使热启动看起来有效,如果不拆分来看,就无法知道真正原因是偏置偏移、随机初始化的效果,还是真正的信息复用。它也表明,即使在诊断阶段看到效果,在可部署的形式下也可能达不到标准。
总之,当面对可能有多个正确答案、且可验证的谜题型或算法型问题,并希望让计算量与问题难度相匹配时,这种方法值得考虑。反之,如果是需要人阅读中间过程的工作,或验证标准模糊的任务,最好不要假定这种方法的优势能原样延续。
引入前检查清单
任务适配性
- 答案是否可验证
- 是否可能有多个正确答案
- 中间过程是否需要人阅读
实验设计
- 是否通过逐步解码跟踪潜在漂移
- 是否分开看能量下降与准确率
- 是否用消融实验分离了初始化、热启动的效果
- 是否在部署形式下重新验证
延伸学习
初次阅读的话,建议从 EBR(paper)开始。它最简洁地阐述了“把循环模型的更新视为能量梯度下降”这一核心主张,也解释了为何需要基于探索的训练。
接着阅读 EBRM(paper),可以了解这种方法在哪里会失效。把能量分为三项的设计、分布不匹配失败模式以及六路消融实验协议,在自己设计实验时都可以直接参考。
如果对实验方法论感兴趣,可以看看 RW-EBR(paper)的五路消融设计。它可以作为验证热启动、检索增强等“加了某样东西后变好了”这类主张的框架。如果想了解把能量循环与符号知识、视觉模型结合的应用,CRAFT(paper)是一篇简短的入门。
相关术语
Loop Transformer Recurrent Depth 梯度下降 测试时计算 CoT 扩散模型 推理模型 损失函数
参考资料
奠基论文
- Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model (2026)
- Reasoning as Energy Minimization over Structured Latent Trajectories (2026)
- Retrieval-Warmed Energy-Based Reasoning: A Five-Arm Ablation Methodology for Diffusion-as-Inference on Structured Reasoning Tasks (2026)
- CRAFT: A Neuro-Symbolic Framework for Visual Functional Affordance Grounding (2025)
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。