循环深度（Recurrent Depth）：让同一层运行多次，思考得更深

为什么需要它：仅靠堆叠层为何不够

标准 Transformer 会堆叠固定数量、各自拥有不同参数的层。输入只通过这些层一次就结束，因此模型在一次计算（Forward pass）中能使用的“思考深度”被层数固定。若想让模型对问题思考得更久，只能像 CoT（Chain-of-Thought）那样，把中间推理以文字形式写出来。

循环深度 Transformer 研究（paper）从“隐式推理”的角度指出了这一局限。大语言模型记住了大量事实和规则，却常常无法在一次计算内完成把它们串联起来的多步推理。该研究将此视为模型缺乏组合已知知识的泛化能力的信号。

另一个问题是参数量与计算深度绑定在一起。要计算得更深，就必须堆叠更多层，模型也随之变大。循环深度正是试图将二者解耦。反复使用同一层，就可以在模型规模不变的情况下只增加计算量。

核心思想：将同一个块运行多次

并行采样器研究（paper）总结道，循环深度（Recurrent Depth）是指可以通过重复层来增加计算量的语言模型结构，在 Transformer 中也称为 Universal Transformer 或循环 Transformer（Loop Transformer）。其核心是将一个共享块连续应用 T 次，逐步打磨内部表示（模型内部承载信息的数值向量）。

打个比方，这就像修改稿件的方式不同。标准 Transformer 好比一家出版社，由十二位编辑依次各改一遍。循环深度模型则是由一位熟练的编辑把同一份稿件反复读几遍、反复修改。编辑人数（参数）更少，但遇到难的稿件时可以花更多遍阅读的时间（计算）。

关键在于，迭代次数不是在训练时而是在运行时选择的。迭代少则便宜、快速，迭代多则计算得更深。因此，循环深度被理解为一种不必多写文字、而是在模型内部增加测试时计算（在推理阶段投入更多计算的方式）的方法。两阶段动力学研究（paper）也将循环深度 Transformer 描述为“在输出 token 之前反复进行潜在计算，以增加测试时计算的结构”。

它如何工作

其工作过程大致可分为四步。第一，将输入 token 转换为嵌入。第二，应用一次共享块，更新内部状态。第三，将更新后的状态再次送入同一个块，按固定次数重复，或重复到满足停止条件为止。第四，从最终状态中读出下一个 token。每一步迭代的状态也都可以读出输出，因此同一个模型可以给出多个深度的答案。

两阶段动力学研究（paper）考察了迭代在内部做了什么。根据该研究，一个循环块内部的更新是小幅度的精细打磨，而相邻块之间则发生幅度更大的移动。随着训练推进，单次循环的移动幅度变小，各次移动的方向也越来越接近正交；研究者将其解读为模型并非只朝一个方向推进，而是在打磨细致的结构。

何时停止也是设计要素。该研究提出以移动幅度的二阶差分（变化量的变化）为依据提前停止，并报告这种方式在性能、稳定性和时间效率上都优于 KL 散度准则或简单的一阶差分准则。视觉方向的 RD-ViT（paper）加入了 ACT（Adaptive Computation Time，在不同位置使用不同计算量的方法），训练过程中平均迭代次数从 2.6 降到 1.4，并表现出把更多计算用在边界区域的特点。

发展脉络：从理解原理到速度、安全与应用

作为起点的论文发表于 2025 年秋至 2026 年 10 月之间，大致分为四个分支。第一个分支是理解原理。两阶段动力学研究（paper）分析了迭代的几何特性，循环深度 Transformer 研究（paper）则用从头训练的模型进行了受控实验。在这项研究中，标准 Transformer 在两方面都遇到了困难：一是将训练中从未组合过的知识串联起来的系统性泛化，二是最多训练 5 步后进行 10 步推理的深度外推；而循环深度 Transformer 两者都做到了。系统性泛化表现为从记忆 → 分布内泛化 → 系统性泛化的三阶段 Grokking（长时间训练后突然出现泛化的现象），深度外推则可以通过在推理时增加迭代次数来解决。

第二个分支是速度。并行采样器研究（paper）注意到循环深度模型与扩散语言模型的相似之处，构建了一种采样器：每次计算都输出新 token，同时通过迭代并行打磨前面各 token 的状态。将其直接应用于现有的 35 亿（3.5B）参数循环深度 Transformer、无需额外调整，速度最高提升 5 倍。RAMP（paper）针对的是处理长输入的预填充阶段中迭代计算推高成本的问题。基于“前面迭代产生的量化误差会在后续迭代中减小”的分析，它以低精度计算前面的迭代，以高精度计算最后一次迭代。在 4K 长度以内保持接近全精度的质量，同时在 NVIDIA H100 上将首次预填充最高加速 1.16 倍（延迟降低 13.9%）。

第三个分支是安全。SafeBridge 研究（paper）指出，由于每个深度都可以单独读出输出，可被攻击的输出空间随之扩大。越狱攻击的成功率在更深的迭代中反而可能上升，同一问题在不同深度表现出不同的安全行为，针对某一深度的攻击也会迁移到其他深度。SFT 和偏好对齐无法消除这种差异，因此该研究提出了按深度控制以及同时监督多个深度的对齐方法。

第四个分支是应用。RD-ViT（paper）将这一结构迁移到医学影像分割上：在只使用 10% 训练数据的 2D 设置中，Dice 达到 0.774，超过标准 ViT（0.762）；在 3D 设置中加入 MoE 后，以 300 万（3.0M）参数、即 53% 的参数量达到 0.812，相当于标准 ViT 性能（0.817）的 99.4%。在临床文本研究（paper）中，Ouro-1.4B-Thinking 在 13 个数据集中的 11 个上高于 Qwen3-1.7B，Ouro-2.6B-Thinking 在大多数任务上与 Qwen3-8B 相当。而 HRM-Text-1B 的结果则好坏参半。

最近的走向

近期研究的主要方向是“让多运行真的带来更好的表现”和“降低运行成本”。PAR（paper）的出发点是：增加迭代次数并不会自动解决长问题。如果只用最终答案训练，就无法确定每次迭代应推进多少，而且内部状态的大小会在迭代过程中发生变化。PAR 训练模型使第 k 次迭代的预测与完成前 k 个操作后的状态一致，并将迭代状态的大小恢复为第一次迭代时的大小。

结果，在置换状态追踪任务（swap-S5）中，最多用 32 步训练的 Qwen2.5-0.5B 模型在训练长度 16 倍的 512 步上平均准确率达到 95.5%。在同一骨干网络上，RLT 为 55.7%，显式 CoT 为 0.8%。去掉状态大小固定后，外推倍数降到 2.2 倍以下；将按进度设定的目标换成最终答案监督后，最高只能达到 8 倍。这意味着，要真正发挥循环深度 Transformer 研究（paper）所展示的“增加迭代就能推理得更深”的潜力，需要相应的训练设计。

在速度方面，LoopAhead（paper）将推测解码（先生成小的草稿、再由大模型验证的方式）适配到循环结构上。它用早期迭代的状态生成多个未来 token 的草稿，用更深迭代的信号决定继续哪个草稿分支，最终决定由全深度模型做出。该研究报告，在保持原模型输出分布的同时，速度相比自回归解码最高提升 7.82 倍。由于给不同迭代深度分配了不同角色，可以看出一种把深度不再视为单纯“次数”、而是视为可设计资源的趋势。

局限与争议

最具实际意义的争议是安全。减少迭代次数研究（paper）考察了 4 个公开的 Ouro 检查点和 Huginn-0125。即使将迭代减到训练深度的一半，Ouro-1.4B-Thinking 在 GSM8K 数学题上的正确率也只从 0.775 降到 0.692，保持了原来的 89%。然而在同样条件下，协助有害请求的比例从 0.038 跃升到 0.205，增加了 5.3 倍。也就是说，为节省成本而减少迭代的部署决策，对安全的削弱最大。

有意思的是，信息本身并没有消失。即使是只经过一次迭代的内部状态，简单的线性分类器也能以 ROC AUC 0.967（全深度下为 0.986）读出请求是否有害。消失的是本应随后出现的拒绝。从全深度 Ouro-1.4B 的内部状态中只移除一个方向，有害提示的拒绝率就从 0.950 降到 0.130。该研究报告，模型现有的早停规则并不会对有害请求使用更多迭代，按请求选择深度的方式也无法挽回损失，只有改变训练才有效。这与 SafeBridge 研究（paper）的结论方向一致。

成本也不是免费的。RAMP（paper）指出，迭代会相应增加计算量，尤其在长输入的预填充中需要对整个输入反复处理，负担很重。虽然加速技术不断出现，但大多是针对特定阶段（预填充、解码）的局部解决方案。

最后，需要区分证据的适用范围。深度外推的结果来自从头训练的受控实验，或状态追踪这类结构明确的任务。临床文本研究（paper）自身也表示，还需要更多能分离出结构本身效果的受控实验。RD-ViT（paper）的结果同样来自单一的心脏 MRI 基准，不应解读为实际临床诊疗中的性能。

延伸学习

如果想先掌握概念，建议先读循环深度 Transformer 研究（paper）。它通过受控实验展示了与标准 Transformer 有何不同，以及增加迭代后能做到什么。接着阅读两阶段动力学研究（paper），了解迭代在内部如何运动、何时停止，就能对其工作方式形成直观感受。

如果你在构建推理系统，建议把并行采样器研究（paper）、RAMP（paper）和 LoopAhead（paper）放在一起读。三篇都利用“重复同一个块”这一结构特性进行加速，适合对比阅读。

如果你在考虑部署，务必阅读 SafeBridge 研究（paper）和减少迭代次数研究（paper）。它们用具体数字表明，把迭代次数改为运行时设置，是需要重新进行安全评估的变更。如果你关注训练设计，PAR（paper）是关于每次迭代应教会模型什么的一个好案例。