← 专题深读

专题深读 · 2026-11-15 · 进阶 · 作者 bombong

No-CoT:不把推理写出来时的得与失

No-CoT 指不把推理过程写成文字的做法,包括用没有解题过程的数据训练、把推理转移到模型内部表征中,以及通过一次计算直接给出答案。这样可以减少 token 成本和延迟,但人类可以阅读和监督的推理记录也随之消失。本笔记梳理这一取舍。

目录
要点
  • No-CoT 不是某一种技术的名称,而是对数据、输出、决策模型三个环节中“不把推理写出来”这一选择的统称。
  • 在利用没有解题过程的 no-CoT 数据时,与复杂的 next-chunk reasoning RL 相比,将 no-CoT 与 long-CoT 混合的单阶段 Mixed SFT 在 RLVR 之后达到了更高的性能上限,训练计算量少 60 倍以上。
  • 隐式 CoT 能节省 token,但存在潜在 token 彼此趋同、导致训练崩溃的问题。SIM-CoT 仅在训练时加入逐步监督,缓解了这一问题。
  • 去掉 CoT,CoT 监控这一安全机制也会随之消失。反过来,即使有 CoT,也无法保证其内容如实反映了实际的判断过程。
  • 在实践中,“让模型写多少”应根据任务难度、审计需求和模型规模来决定,不能只凭训练的中间成绩选择策略。

为什么要单独看 No-CoT

CoT(Chain-of-Thought,思维链)是让模型在给出答案前先把中间解题过程写成文字的方式。随着推理模型借助长 CoT 解决难题的事实广为人知,“让模型把思考写长一点就会更好”的直觉也流传开来。但 CoT 并非没有代价。每写一个 token 都会带来计算成本和延迟,而要训练它,还需要逐步写出解题过程的数据。

No-CoT 是从另一个角度看待这些成本的视角。世界上的大部分数据都没有 CoT 标注。教科书中的推导过程或标准解答虽然推理丰富,却并没有整理成模型可以照着写的“思考过程”格式。一项重新审视 no-CoT 数据训练策略的研究(paper)将这类资料称为“no-CoT 数据”,并专门讨论如何将其用于训练。

输出端也存在同样的问题。在路由、分类等需要快速判断的场景中,让模型写出冗长的解题过程可能是一种浪费。因此,把推理转移到 Hidden Representation(模型内部表征)中,或者干脆通过一次计算给出答案的方向也在同步研究。本笔记把这三条路线归结为“No-CoT”这一个问题:不把推理写出来,会得到什么、失去什么?

核心思路:不写出思考的三个环节

先打个比方。数学考试中,有的学生把解题过程写得密密麻麻,有的学生在脑中计算后只写答案,还有的学生一看题型就直接选出答案。三人都在“思考”,区别在于这些思考是否留在纸上,留下的话又留下多少。No-CoT 就是从前一种学生向后一种学生靠拢的选择。

这一选择发生在三个环节。第一是数据:如何用没有解题过程的 no-CoT 数据进行训练。第二是输出:模型不用文字、而用潜在 token(不是人可读的词,而是内部向量)延续推理的隐式 CoT 属于这一类。第三是决策模型:有一类“System 1”模型,不逐个 token 生成文本,而是通过一次前向传播返回针对预定选项的概率分布。Jev 式决策模型审计研究(paper)讨论的就是这一类。

关键在于,三个环节所取舍的对象是相同的。写出来的推理有成本,但人可以阅读和核查;不写出来的推理快速且便宜,但无法阅读。两者之间还有只去掉长 CoT 中多余步骤的做法。因此,更准确的看法是:No-CoT 不是“用不用 CoT”的二选一问题,而是在一条轴上选择哪个位置的问题。

推理以文字形式保留多少

← 用长篇文字写出推理不写出推理 →
1234
  1. Long CoT
  2. 剪枝后的CoT
  3. 隐式CoT
  4. System 1直接作答
越往左,推理越多地以文字保留,便于阅读和监控;越往右,速度越快、成本越低。点的位置为相对示意。

如何运作

先看数据端。为利用 no-CoT 数据而提出的方法中有 next-chunk reasoning RL。它让模型在文本的下一个片段(chunk)之前自行生成并插入隐藏推理,并以该推理能多好地帮助预测下一个片段作为奖励。这是试图通过强化学习从没有解题过程的文本中引出“思考”。然而,no-CoT 数据训练策略研究(paper)在受控条件下将其与更简单的替代方案 Mixed SFT 进行了比较。Mixed SFT 是在一次 SFT(监督微调)阶段中同时训练 no-CoT 数据和 long-CoT 数据的方式。结果显示,Mixed SFT 在完成 RLVR(基于可验证奖励的强化学习)后的性能上限更高,训练计算量少 60 倍以上。这一优势不仅出现在数学推理上,在领域外推理任务中同样成立。

输出端的代表是隐式 CoT。它不用文字写出推理步骤,而用潜在 token 延续推理,因此可以节省 token。但其性能不如显式 CoT,因而没有得到广泛使用。SIM-CoT(paper)对原因的诊断如下:增加潜在 token 数量时,潜在表征彼此趋同、失去语义多样性,从而导致训练崩溃。解决方法是逐步监督:仅在训练时接入辅助解码器,使每个潜在 token 与其对应的显式推理步骤对齐。推理时去掉辅助解码器,因此没有额外成本。该方法将 Coconut 在 GPT-2 上的性能提升了 8.2%,将 CODI 在 LLaMA-3.1 8B 上的性能提升了 3.0%。在 GPT-2 上,它比显式 CoT 基线高 2.1%,同时 token 效率高 2.3 倍。

决策模型处于最极端的位置。根据 Jev 式模型审计研究(paper),这类“System 1”模型不做自回归生成,而是通过一次前向传播返回针对预先声明的 schema(选项、分数等)的概率分布。该研究将其与生成式“System 2”基线进行了比较。基线包括用单个 token 的对数概率打分的方式,以及以 JSON、CoT 进行结构化输出的方式。

处理推理的三种路径问题 → 显式CoT; 问题 → 隐式CoT; 问题 → System 1模型; 显式CoT → 答案; 隐式CoT → 答案; System 1模型 → 答案; 显式CoT → CoT监控器(可监控)CoT监控器只读取写成文字的推理问题显式CoT把解题过程写成文字隐式CoT用潜在token推理训练时逐步监督System 1模型一次前向传播各选项的概率答案可监控
处理推理的三种路径 同一个问题通过三种路径得出答案。只有写成文字的推理能被监控器读取,越往下,推理越不外显。

发展脉络:从少写到不写

所收录研究之间的脉络,是从“如何缩短写长了的推理”延伸到“如何处理原本就没有写出来的推理”。

最温和的起点是关于小型语言模型高效 long CoT 的研究(paper)。该研究指出了将 DeepSeek-R1 等推理模型的长 CoT Distill 给 SLM(小型语言模型)时出现的问题:长 CoT 中有大量过度思考之类的冗余步骤,容量小的模型难以学习。因此,研究对多余步骤进行剪枝,并让 SLM 以 On-policy 方式自行挑选有用的训练数据。结果在保持有竞争力的性能的同时,大幅减少了冗余推理。这是不去掉 CoT、而是让它写得更少的阶段。

SIM-CoT(paper)更进一步,修复了把推理移出文字之外的隐式 CoT 的不稳定性。同一时期,CoT 可监控性研究(paper)从相反的方向提出问题:系统性地考察模型是否会把判断中实际使用的因素如实用语言写进 CoT,以及基于 CoT 的监控器能否可靠地发现不当行为。这表明“写出来的推理对安全有用”这一前提可能会动摇。

2026 年的 no-CoT 数据研究(paper)把重心转向了数据端。它表明,利用没有解题过程的资料并不一定需要精巧的强化学习,而且 RLVR 之前的准确率高,并不意味着 RLVR 之后的准确率也会高。因此,no-CoT 训练策略应以经过整个后训练流程后的结果来评估。

No-CoT研究中的突出数据

超过60倍Mixed SFT节省的训练计算量
2.3倍SIM-CoT的token效率(GPT-2)
+8.2%应用SIM-CoT后Coconut的提升
以下为正文引用的研究结果。各数值均来自相应论文的实验条件。

最新动向

近期研究大致朝三个方向推进。第一是直接衡量“写出来的推理是否真的有用”。后训练与语言化计算研究(paper)依次比较了 Olmo-3-7B-Instruct 的 SFT、DPO、RLVR 检查点,考察多位数加法。进位值在 SFT 和 RLVR 中都能以相近的准确率从内部激活值中读出,但操纵这些信息并不能使输出发生一致的变化。另一方面,RLVR 生成的 CoT 即使交给其他检查点,也比 SFT 或 DPO 生成的 CoT 带来更高的准确率。这说明信息存在于模型内部,与写出来的推理是否有用,是两回事。

第二是验证完全不做生成的决策模型。在 Jev 式模型审计研究(paper)中,40 亿参数以上的 System 1 模型在出现句法变化时速度更快,校准也更好(ECE 0.030~0.087)。对数概率基线为 0.144,JSON 基线为 0.378。然而,这些模型报告的置信度并不是反映实际准确率的值,而是按固定公式将概率分布的离散程度换算出来的值。此外,0.8B 模型在一个请求中捆绑多个问题时,有 11.7~22.4% 的二元判断会被翻转;在 4B 模型中,这一比例为 0.1~0.2%。

第三是治理层面维护 CoT 的动向。CoT 监控透明度披露提案(paper)认为,CoT 监控是监督前沿 AI 最有价值的工具,但正受到威胁。因此,它提出了开发方应报告的五项指标,涵盖外部对 CoT 的访问与底层架构说明、CoT 的自然性与忠实性,以及监控的检测能力及其带来的效果。对 Anthropic、OpenAI、Google DeepMind 当前披露情况的检查发现,没有一家覆盖全部五项指标,但每项指标至少有一家在报告。推理越是转移到潜在空间,这些指标就越可能失去意义,这正是 No-CoT 研究另一面的张力。

No-CoT研究图谱 方框概括了各项研究的新贡献。同一时期的研究仅按组划分,未加入表示继承关系的箭头。

局限与争议:何时使用,何时避免

最大的争议在于可监控性。如果不把推理写成文字,就无法使用通过阅读CoT来发现走捷径、谄媚等错误行为的机制。但这也不意味着只要让模型写出CoT就是安全的。正如CoT可监控性研究(paper)所指出的,模型并不总是忠实地用语言表述其实际的判断依据。监控器一方也可能过于敏感或过于迟钝,并可能被冗长而精巧的推理所欺骗。归根结底,No-CoT所失去的不是“完美的透明性”,而是“不完美但可用的监控窗口”。

在性能方面同样存在前提条件。隐式CoT在缺乏逐步监督时,潜在token可能趋于相似而导致崩溃(paper)。System 1模型在规模较小时,若将多个问题打包在一起,相互干扰会增大,且其报告的置信度并不等于实际正确率(paper)。因此,直接把置信度值用作阈值是有风险的。在no-CoT数据训练中,不能因为RLVR之前的准确率高,就认为RLVR之后也会高。用中间分数来选择策略是常见的错误(paper)。

从实际判断标准来看,可以归纳如下。对于需要在既定选项中快速判断的路由、分类任务,直接作答的方式是合适的,但需要先确认模型规模和问题打包方式。对于需要多步计算或需要审计决策依据的任务,保留显式CoT更好。如果担心成本,应先考虑减少冗余步骤(paper),而不是去掉CoT。即使训练数据中没有标注解题过程,与其立即设计复杂的RL,不如先跑一个混合数据进行SFT的简单基线,这在成本上更为合理。

引入No-CoT前的检查

任务

  • 是否为在既定选项中的快速判断
  • 是否需要多步计算
  • 是否需要审计决策依据

模型·训练

  • 是否没有在小模型上打包多个问题
  • 是否没有把置信度值当作实际正确率
  • 是否用完成RLVR后的结果来比较策略

替代方案

  • 去掉CoT之前,是否先尝试减少冗余步骤
  • 是否跑过Mixed SFT之类的简单基线
在减少或去除推理之前需要确认的事项。

延伸学习

要理解No-CoT的数据层面,最好先读no-CoT数据训练策略研究(paper)。“no-CoT数据”的定义、next-chunk reasoning RL的思路以及与Mixed SFT的对照比较都集中在这一篇中。“必须看完整个后训练过程再做评估”这一教训也来自这篇论文。

在输出层面,阅读SIM-CoT(paper)可以了解隐式CoT为何不稳定,以及仅在训练时使用的监督如何解决这一问题。关于此前的“少写”阶段,小型语言模型高效long CoT研究(paper)篇幅短且易读。

要了解这种取舍的另一面,可以接着阅读CoT可监控性研究(paper)和透明度披露提案(paper)。内部信息与写成文字的推理在用途上如何分化,可阅读后训练与语言化计算研究(paper);不进行生成的决策模型的实际特性,可阅读Jev式模型审计研究(paper)。

相关术语

CoT 推理模型 RLVR SFT Distillation 可解释性 测试时计算 Decision model

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。