推理模型与测试时计算：让模型在回答前思考更久

为什么需要：只扩大模型还不够

大语言模型（LLM）随着参数增加，在许多任务上表现更好。然而，CoT论文（paper）指出，仅靠扩大模型规模，难以在算术应用题、常识推理、符号操作等需要多步推理的问题上取得高性能。只展示几组问题与答案的传统few-shot提示在需要推理的任务上效果不佳，而且很多情况下即使模型变大也没有明显改善。

另一条路是直接用解题过程训练模型。但同一篇论文指出，大量制作高质量解题过程的成本远高于收集简单的输入-输出对。问题归根结底在于如何给模型“在给出答案前思考的空间”。

于是，视线从训练阶段转向了使用阶段。与其让模型一次性给出答案，不如在生成答案的时刻（推理时，即测试时）投入更多计算，会怎样？这就是测试时计算（Test-time compute）的思路，而把这种做法养成默认习惯的模型通常被称为推理模型（Reasoning model）。

核心思路：难题多花时间

想一想参加考试的人就容易理解了。简单的题直接写答案，难题则在草稿纸上写下解题过程并验算，卡住了就换一种方法重新解。测试时计算研究（paper）也表示，其出发点是观察到人在面对难题时会思考更久以改进判断。

这个比喻包含两个要素。一是“草稿纸”，即模型用文字生成中间推理步骤的思维链（CoT，Chain-of-Thought）。CoT论文（paper）解释说，经过中间步骤可以拆解多步问题，因此能为需要更多步骤的问题分配更多计算。另一个是“时间分配”。不是对所有问题花同样的时间，而是看了问题之后决定要多思考多少、以什么方式思考。

这样看来，推理模型是“养成了使用草稿纸习惯的模型”，测试时计算则是“决定在草稿纸上花多少时间、如何花的策略”。两者并非各自独立的技术，而是同一思路的两个侧面。

如何运作：串行修改，或并行采样再挑选

测试时计算研究（paper）将增加计算的方法大致分为两个方向。第一是改变模型生成答案的分布本身，典型例子是串行修改（revision）。模型先写出第一个答案，再看着这个答案写出修改后的答案，然后再修改，如此沿一条线延续下去。第二是使用验证器（verifier）。同时（并行）采样多个答案后选出得分最高的那个，即best-of-N，是最简单的形式；也有设置为每个解题步骤打分的过程奖励模型（PRM，process-based reward model），并沿其分数进行搜索的方法。

这项研究的核心观察是，哪种方式更好取决于问题难度。在基础模型已能给出像样答案的简单问题上，依次打磨第一个答案的串行修改更有效。相反，在需要探索多个解题方向的难题上，独立地多次采样新答案，或沿着PRM进行树搜索效果更好。

因此，这项研究提出了“compute-optimal”策略：针对每个问题先估计难度，再据此选择计算方式。这里的难度是从基础模型角度看的难度，用来预测哪种计算方式会更有效。概括起来，运作顺序是：接收问题 → 估计难度 → 串行修改或并行采样、验证 → 选出最终答案。

发展脉络：从提示到计算分配，再到强化学习

起点是CoT提示（paper）。这项研究表明，只要在提示中放入由〈输入、思考过程、输出〉三者组成的示例，就能在足够大的模型中引出推理能力。仅向PaLM 540B展示8个CoT示例，就在数学应用题基准GSM8K上取得了当时最高的准确率，甚至高于加了验证器并经过微调的GPT-3。重要的是，这一结果无需重新训练模型，仅靠提示就实现了。

第二个里程碑是系统分析测试时计算的研究（paper）。此前的研究结论不一：有的发现推理时计算有帮助，有的发现在数学等复杂任务上效果有限。这项研究用前面提到的compute-optimal策略，使测试时计算效率比best-of-N提高了4倍以上。此外，在计算量（FLOPs）相当的条件下比较时，对于较小基础模型能取得一定成功率的问题，多投入推理时计算比使用大14倍的模型效果更好。这相当于把“扩大模型还是让模型多思考”放到了同一杆秤上衡量。

第三个是DeepSeek-R1（paper）。这项研究报告称，无需人工标注的推理轨迹（Trajectory，解题过程记录），仅靠纯强化学习就能激发LLM的推理能力。训练过程中自发形成了自我反思、验证、根据情况切换策略等推理习惯，在数学、编程竞赛、STEM等答案可验证的任务上，性能优于用人类示范进行监督学习的模型。研究还表明，这样形成的推理模式可用于提升小模型的推理能力。如果说CoT是“通过展示示例让模型思考”，那么R1则更进一步，做到了“训练思考习惯本身”。

近期走向：从“用多少”到“用在哪里”

近期研究不是一味增加计算，而是朝着精细决定何时、在何处使用计算的方向发展。置信度校准控制器研究（paper）将验证器引导的推理的每一步视为三选一：是信任当前答案、给出替代答案，还是投入更多计算。通过预测每种选择的成功可能性，并为计算成本定价来进行选择，结果在效用上优于固定策略，同时将在线计算量在宽度扩展任务上减少约30%，在修改任务上减少约16%。不过作者表示，与其他对比方法的效用差异很小且结果不一，并总结认为应将其视为不确定性下的资源分配问题，而非“更强的推理器”。

REWIND（paper）聚焦于“从哪里开始重新生成”。其问题意识是推理早期的一个错误会束缚此后的全部过程。在MATH500上分析Qwen2.5-Math-7B发现，错误答案的平均token熵（模型对下一个token的犹豫程度）远高于正确答案，在同一问题内的相对增幅平均约为112%。据此，研究者构建了一个无需额外训练的控制器，只选取熵变化较大的位置之后的部分重新生成，在三个模型系列和五个基准上比最强的对比方法高出0.51~10.00个百分点。

“如何衡量”预算也成了争议点。预算边界效应研究（paper）重新运行了来自AIME、BrUMO、HMMT共120道题的19,200条解题记录，比较了触及token上限时立即停止的方式与让进行中的尝试完成的方式。即使上限相同，准确率和实际成本也因停止规则而异，而且获取更多候选答案也不保证正确率会提高。该研究建议，在报告预算曲线时应一并说明上限、实际花费的成本、参与选择的候选、停止规则和答案选择方法。

局限与争议

第一，测试时计算并非万能。即便在测试时计算研究（paper）中，推理时计算胜过更大模型的情况也仅限于小模型能达到一定成功率的问题。在推理 token 量相对于预训练 token 变大的情况下，对于难题，把计算用在预训练上反而更好。模型一开始就找不到解题线索的问题，即使思考很久也不容易解出。

第二，高度依赖验证信号。并行采样只有在有验证器或奖励模型来挑出好答案时才有意义，DeepSeek-R1（paper）的强化学习也是在数学、编程这类可以核对正确答案的任务上表现出优势。在答案不唯一的开放性问题上能否产生同样效果，需要另行考察。同一研究（paper）也指出，要激发修正和验证能力，需要针对这些能力进行微调。

第三，成本与延迟。让模型思考得更久，token 会增加，响应也会变慢。因此，近期研究开始关注减少计算的控制器（paper）或只重新生成必要部分的方法（paper）。此外，正如预算边界效应研究（paper）所示，比较成本与准确率的方式本身就可能改变结论，因此解读数值时需要确认测量条件。

第四，思考过程难以完全信任。CoT 论文（paper）一方面指出思考过程可以成为观察模型行为的窗口，另一方面也附加说明：完整揭示支撑答案的模型内部计算仍是一个开放问题。即使写出来的解题过程看起来合理，也不能断定它与实际的判断依据相同。

延伸学习

如果是初次接触，建议先读 CoT 论文（paper）。只看图 1 和图 3 的示例，就能立刻理解“让模型写出中间步骤”这一思路，第 2 节总结的 CoT 四个优点也成为后续研究的起点。

接下来是测试时计算研究（paper）。其中分别对串行修正和 PRM 搜索进行实验的部分，以及根据难度选择计算方式的部分，构成了这一领域的基本词汇。第 1 节中在相同 FLOPs 下比较小模型与大模型的图，尤其有助于理解“模型规模与思考时间”之间的权衡关系。随后阅读 DeepSeek-R1（paper），可以看到通过强化学习把这种推理习惯植入模型的思路。

如果想了解近期动向，可以依次阅读：REWIND（paper）讲“用不确定性信号找到需要修正的位置”，置信度校准控制器研究（paper）讲“决定是否投入更多计算”，预算边界效应研究（paper）讲“公平地报告预算实验”。这三篇都从不同角度探讨同一个问题：比起投入大量计算，更重要的是合理分配计算。