专题深读 · 2026-11-16 · 基础 · 作者 bombong
推理强度调节:思考 token 预算与减少过度思考(Overthinking)
推理模型即使已找到正确答案,仍会因反复验算的过度思考(Overthinking)而浪费 token 和时间,有时还会把正确答案改写成错误答案。本文梳理思考 token 预算、停止信号、分步奖励、是否思考的路由各自得到什么、失去什么。
目录
- 过度思考不只是成本问题。在找到正确的中间答案后仍继续思考,若最终改写成错误答案,准确率也会下降。
- 固定的思考 token 预算简单且成本可预测,但忽略了不同问题所需的思考量各不相同这一点。
- 研究已从对整体长度一律扣分的方式,转向只挑出冗余开始出现的步骤或 token 加以削减。
- 近来出现了在“思考多少”之外更进一步、选择“是否思考”以及“减少哪种行为”的研究。
- 在实际应用中,比起 token 节省率,应先确认在难题上有没有丢掉正确答案。目标不是让回答变短,而是让模型按需思考。
为何需要:“想得越久越好”的阴影
推理模型(Reasoning model)在给出答案前,会写出一段被称为 CoT(Chain-of-Thought,思维链)的较长中间推导。这种在回答时投入更多计算的方式称为测试时计算(Test-time compute)。该方式提升了数学、科学和工具使用问题上的性能。但也有代价。思考 token 同样需要逐个生成,并且按 token 计费,因此思考越长,成本和响应时间都会随之增加。
增加的思考也并非都有用。已经得出正确答案却仍反复验算和重新推导的现象,被称为过度思考(Overthinking)。ThinkBrakepaper 的研究团队做了“oracle 停止”实验:在每个句子结束时尝试插入思考结束标记(</think>),再根据事后结果选出最佳停止点。结果显示,思考 token 减少了72%,平均准确率反而提高了8%。这说明模型在中途找到正确答案后仍继续思考、最终改写成错误答案的情况并不少见。
Concise-9Bpaper 让 Qwen3.5-9B 在思考过程中每隔2,048个 token 强制给出一次答案。在难题集合上,54~64%的思考 token 出现在“此后所有强制给出的答案都与最终答案相同”的时间点之后。也就是说,答案已经确定后模型仍在继续思考。在含有图像的任务中也出现了类似现象。REChartpaper 报告称,在图表编辑中推理长度与性能呈倒U形关系:思考过长时,模型会编造图像中不存在的细节(幻觉),或在同一推理中打转。
也存在相反方向的失败。ReBalancepaper 指出,除了在简单问题上浪费计算步骤的过度思考,还有虽有能力却探索不足的思考不足(Underthinking)。压制反思表达或缩短长度的现有方法,可能反而引发思考不足。因此,这一领域的目标不是“更短”,而是“恰如所需”。
Overthinking 的规模
核心思路:思考也需要预算和刹车
想想参加考试的学生就容易理解了。把简单题验算五遍的学生时间不够用,草草略过难题的学生会答错。善于考试的学生会看题估计要花多少时间,解题时一旦确信“已经可以了”就放下笔。推理强度调节,就是让模型具备这两种感觉,即预算感和停止感。
最简单的工具是思考 token 预算:设定用于思考的 token 数上限,超过就切断思考。它易于实现、成本可预测,但忽略了不同问题所需的思考量各不相同这一点。VSRMpaper 的研究团队指出,现有效率优化方法大多需要事先准确判断任务难度来设定预算或选择推理模式,因此灵活性和可靠性较差。
因此,研究大致分为三个问题。第一是在思考过程中决定“何时停止”的刹车。第二是在长思考中找出“哪部分是冗余”的剪枝。第三是在开始前选择“是否思考、思考多少”的路由。这三种方式并不互斥,可以组合使用。
如何运作:停止、教导、奖励
推理模型以句子为单位持续写出思考段落,然后输出思考结束标记并写出答案。强度调节可以在这个循环的多个环节进行。第一种是推理时控制:模型保持不变,观察生成过程中出现的信号。ThinkBrakepaper 在每个句子结束时,测量“下一个最可能的 token”与“</think>”之间的对数概率差。当这一差距缩小,也就是模型自身开始认为可以结束时,便停止思考。该方法无需训练,在数学、科学问答和工具使用基准上将思考 token 最多减少了30%。ReBalancepaper 将模型的置信度作为连续指标:置信度大幅波动时判断为过度思考,持续过度自信时判断为思考不足。随后实时调整用少量数据构建的引导向量(把隐藏表示推向特定方向的值)的强度和方向,剪掉冗余,并在需要时增加探索。
第二种是通过训练改变习惯。Self-Braking Tuningpaper 的目标是不借助外部装置,让模型自己停下来。它以正确答案为基准构建识别过度思考的指标,找出推导中的多余步骤。在此基础上,构建长度随问题而变化的训练数据和“刹车提示词”,让模型学会在合适的位置结束思考。
第三种是打磨强化学习的奖励。最常见的方法是在正确性奖励之外加上长度惩罚。但 ATTNPOpaper 指出,对整条轨迹一律施加的长度惩罚既不能有效缩短长度,还会降低准确率。因为它对所有步骤一视同仁,无法区分必要步骤与冗余。于是研究转向对每个步骤分别奖惩。VSRMpaper 根据中间状态的表现给每个步骤奖励。ATTNPO 则用关注必要步骤的特定注意力头的分数来分配各步骤的贡献。
这些设计各有取舍。推理时控制没有训练成本,可以直接接入现有模型;但每次生成都要付出判断成本,并且需要能访问模型内部信号。训练型方法付出一次训练成本后,推理时无需额外装置;但需要重新确认它在与训练数据类型不同的问题上表现如何。
发展脉络:从截断长度到分配步骤贡献
2025年,Self-Braking Tuningpaper 摆脱了依赖外部控制的现有方式,开辟了“模型自己踩刹车”的方向。VSRMpaper 不预先设定预算,而是认为关键在于在强化学习中鼓励有效步骤、削减无效步骤。它将基于中间状态表现的规则式分步奖励与 PPO、Reinforce++ 结合,在 AIME24、AIME25 上保持性能的同时大幅缩短了输出长度。ThinkBrakepaper 则相反,无需训练,在解码阶段判断停止时机。
2026年,更精确地识别哪些步骤和 token 属于冗余的研究陆续出现。ATTNPOpaper 利用模型内部的注意力信号低成本地评估各步骤贡献,在9个基准上缩短推理长度的同时提升了性能。ReBalancepaper 在0.5B~32B规模的四个模型和九个基准上,无需训练即减少了冗余并提高了准确率。REChartpaper 将适用范围扩展到图表编辑:它设计了“效率奖励”,为每次 Rollout 分配随机思考预算并在该处截断推理,再按最后一段推理对结果的贡献给予奖励。
AESpaper 认为,对整个序列一律施加长度惩罚,会产生无法区分必要步骤与冗余的“贡献混淆”。作为衡量这一点的代理指标,它关注熵(不确定性)高的 token。这类 token 常与推理重新回到验证的转折点重合。AES 以同一组中高效答案的长度为基准,保留出现在该长度之前的高熵 token,对超出该长度之后的高熵 token 施加惩罚。结果在八个基准上将推理长度最多缩短52.9%,同时将平均准确率最多提高3.8%。概括这一脉络,就是从“削减整体长度”转向“找到冗余开始的位置,只削减那一部分”。
最新方向:削减答案确定后的部分,先选择是否思考
Concise-9Bpaper 通过简单的自训练削减冗余。它从模型自己生成的推导中只保留正确且最短的那些,再用于微调,即 On-policy 拒绝采样微调,共进行了两轮。结果在8,983道测试题上,以32K思考预算计,只用原模型0.66倍的 token,准确率仍保持在±1分以内。节省下来的思考 token 中,86%属于答案已经确定之后的部分。也有值得注意的地方:若对原模型套用“强制给出的答案连续三次相同就停止”这类简单规则,准确率会下降2.4~9.2分。因为答案确定的位置只有事后回看才能准确知道。
HDMpaper 不问“思考多少”,而是问“完全不思考,还是思考到底”。一个固定模型同时具备两种模式。快速模式不生成思考 token,在一次前向传播(将输入通过模型一次的计算)内作答;慢速模式执行完整推理。轻量的自路由模块估计“思考的价值”,仅当该值大于每个请求设定的价格 λ 时才运行慢速模式。在智能体任务 MiniWoB 上,HDM-27B 将 token 成本降低了80.1%。由于价格可以按请求调整,这一方向是把推理强度当作服务配置来处理。
Routes of Reasoningpaper 针对的不是长度,而是“行为”。其出发点是:token 预算、引导等现有方法只能调节思考长度,无法选择要减少哪种行为。研究团队表明,仅凭 MoE(混合专家)模型的路由器分数,就能较好地预测计划、执行、复述、事实、反思、结论六种推理行为。接着在推理过程中修改路由器分数以抑制过度思考,使生成 token 按中位数减少30.4%,最多减少63.3%。
局限与争议:先看丢掉的正确答案,再看省下的 token
第一,变短的代价会在难题上显现。Concise-9Bpaper 在允许思考延续到80K token 时,在1,276道难题中比原模型少解出25道,其中大多是竞赛数学题。即使平均准确率相同,在分布尾部的难题上也可能吃亏。ReBalancepaper 所警告的思考不足也是同一道理。
第二,固定预算简单但粗糙。按预算截断能让成本可预测,但 VSRMpaper 指出的“需要事先知道所需思考量”这一问题依然存在。ThinkBrakepaper 的 oracle 实验所展示的巨大收益,也只是“事后知道最佳位置”情况下的上限。实际方法取得的节省更小,最多为30%。
第三,各方法所需的访问权限不同。ThinkBrake 需要访问 token 对数概率,ReBalance 需要访问隐藏状态(Hidden State),Routes of Reasoningpaper 需要访问 MoE 路由器。只通过 API 使用模型的团队难以自行接入这类推理时控制,而自行部署开放权重模型的团队选择更多。Self-Braking Tuning、VSRM、AES 等训练型方法则需要训练流水线和可验证的正确答案数据。
实际判断标准如下。不要只看 token 节省率,还要同时看各难度下的准确率。如果简单请求多、成本和响应时间重要,适合选择“是否思考”的路由或较低预算。如果难题占比大,就选择预算充足、只削减冗余的方法。把在数学上验证的结果迁移到其他领域时,要重新测量。正如 REChartpaper 所示,在多模态任务中过度思考可能导致幻觉,因此需要单独考察。
推理强度调节前的检查
测量
- 是否按难度分别查看准确率
- 是否统计难题中错过的正确答案
- 除 token 外是否也测量响应时间
- 是否在数学以外的领域重新测量
选择方法
- 能否访问对数概率和内部状态
- 是否有可验证的正确答案数据
- 简单请求占比是否大到适合路由
- 若为多模态,是否确认了幻觉增加
延伸阅读
若想先对现象有直观认识,可先读 ThinkBrakepaper 的 oracle 停止实验和 Concise-9Bpaper 对“答案确定后的思考 token”的测量。两项研究分别展示了过度思考有多普遍,以及实际减少它为何困难。
方法部分适合按类别阅读。无需训练的刹车可看 ThinkBrake 和 ReBalancepaper,训练模型自行停止的方式可看 Self-Braking Tuningpaper。强化学习奖励设计按 VSRMpaper、ATTNPOpaper、AESpaper 的顺序阅读,可以追踪“分步奖惩”如何变得越来越精细。多模态方面,REChartpaper 是起点。
最新方向方面,把 HDMpaper 的“是否思考”路由与 Routes of Reasoningpaper 的“行为级控制”对照阅读,就能看出长度调节之后的下一步是什么。
相关术语
参考资料
奠基论文
- ThinkBrake: Efficient Reasoning via Log-Probability Margin Guided Decoding (2025)
- Let LRMs Break Free from Overthinking via Self-Braking Tuning (2025)
- Promoting Efficient Reasoning with Verifiable Stepwise Reward (2025)
- ATTNPO: Attention-Guided Process Supervision for Efficient Reasoning (2026)
- Efficient Reasoning with Balanced Thinking (2026)
- REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models (2026)
- Adaptive Entropy-Sparing for Efficient Reasoning (2026)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。