← AI 术语表

AI 术语表 · 基础 · 语言模型 · 安全与对齐

Recurrent Depth

循环深度(Recurrent Depth)是让 AI 模型多次反复经过同一组神经网络层的方法,使模型无需大幅扩大规模,就能在难题上投入更多计算。也称为“循环 Transformer”。

关于这个术语
难度
基础 · AI 新闻中常见的技术术语
加入时间
2026-10-25
通俗解释 这类似于遇到难题时不再叫更多人帮忙,而是由一个人对同一问题反复琢磨。不同之处在于,人可以把琢磨的内容用文字记下来,而在这种方法中,琢磨的过程可能不会以文字形式留下。

是什么

普通的 Transformer 模型会依次经过固定数量的层,每层只过一次,然后生成答案。循环深度方法则多次重复使用同一组层来处理问题。由于不是堆叠新层而是重复运行同一组层,所以无需大幅增加参数(模型学到的数值)数量,就能进行更多计算。之所以叫这个名字,是因为它增加“深度”靠的不是层数,而是重复次数。

如何工作

输入的句子进入模型后,先被转换为内部状态(Hidden Representation)。这个状态经过共享的层组一次,就变成稍作修正的状态,结果再次输入同一组层。在这个循环转过多次之后,模型才在最后一步用文字生成答案。让简单问题少循环、困难问题多循环,就能根据问题难度调节计算量,这是该方法的吸引力所在。

发展历程

研究中有一种思路,把循环深度看作模型设计中可以单独调节的旋钮。2026 年 10 月发布在 arXiv 上的“DeepThink”论文提出了一个框架,把存储知识的存储库、根据当前状态挑选所需知识的机制,以及反复修正状态的共享“思考”运算分开设计。这篇论文的新贡献在于,把“容纳多少知识”“一次使用多大范围”“重复多少次(循环深度)”拆分为不同的设计变量,并梳理了从已训练好的普通模型过渡到这种循环结构的路径。这项研究目前仍处于提出概念模型的阶段。

为何受到关注

据报道,OpenAI 正在把这项技术应用到下一代模型中,这一消息传出后,业界关注度上升。在性能方面,它的优点是无需扩大模型就能在难题上投入更多计算。另一方面,安全研究人员担心监督问题。现有推理模型会把解题的中间步骤以自然语言 CoT(Chain-of-Thought,思维链)形式留下,人可以从中寻找危险行为的线索;而在循环深度方法中,相当一部分内部计算可能不会以句子形式呈现。

现有推理模型与循环深度

现有推理模型以文字留下 CoT

  • 用自然语言展示中间步骤
  • 人容易发现危险信号

循环深度重复同一组层

  • 无需大幅扩大模型即可投入更多计算
  • 内部计算可能不以句子形式呈现
  • 监督可能变得困难

공통 两者都是为在难题上投入更多计算的方法

两者的区别在于投入更多计算的方式,以及人能否看到这一过程。

需要了解的要点

循环深度具有两面性:它既是提升性能的技术,也可能让人更难观察 AI 的思考过程。因此有人提议 AI 公司应避免采用妨碍推理监督的设计。这项技术在某家公司的模型中用到了什么程度,目前大多来自媒体报道,阅读时应与官方确认的事实区分开。还值得记住的是,增加重复次数,计算时间和成本也会随之增加。

示例

本站报道过的消息中,有一则 WSJ 报道称,OpenAI 3 名安全研究员被解雇,源于一项关于“循环深度”机密泄露的调查。据报道,调查的起因是一篇关于 OpenAI 模型新推理技术的媒体报道,内容称该技术在提升性能的同时,可能让人更难掌握其思考过程。被解雇的研究员否认泄露机密,他们在被解雇前就一直主张应保留让人能够监督 AI 推理的结构。这一事件表明,循环深度已不只是一项性能技术,而成为围绕 AI 可监督性的争议焦点。

本站出现过的地方

相关术语

参考资料