Loop Transformer
循环 Transformer 是一种让输入多次重复经过 Transformer 中同一组层（神经网络层）来处理问题的设计，也称为“循环深度（Recurrent Depth）”。
有何不同
普通 Transformer 中，输入按顺序各经过一次不同的层，然后给出答案。循环 Transformer 则让输入反复经过同一组层。因此无需增大模型规模，就能对一个输入投入更多计算。由于重复使用相同的权重，它的目标是让同等规模的模型思考得更“深”。
普通 Transformer 与循环 Transformer
普通 Transformer不同的层各经过一次
- 输入按顺序依次通过各层
- 要增加计算量就得扩大模型
循环 Transformer同一组层经过多次
- 重复使用相同权重
- 保持模型规模不变，投入更多计算
- 中间计算未必全部体现在 CoT 中
공통 两者都以 Transformer 架构为基础
工作原理
输入句子首先被切分为 token，变成数字向量。这些向量经过一次共享的层组后，结果会再次作为同一层组的输入。这个循环按固定次数或按需进行，之后生成最终答案。循环过程中的中间计算不会以文字形式出现，只作为模型内部的 Hidden Representation（数字形式的内部状态）保留。
为何受到关注
据报道，OpenAI 的下一代主力模型采用了这一设计，因此正全力开展安全保障工作。OpenAI 并未正式承认使用该技术。研究领域也在探讨这一主题：GitSwarm 论文让多个智能体接力实验、改进神经网络结构，Looped Transformer 就是其中的任务之一。可以说，它作为一种不扩大模型规模就提升推理能力的方法而受到关注。
注意事项（局限）
最大的担忧是监控变得困难。目前常用的方法是阅读模型以文字写出的推理记录，即 CoT（Chain-of-Thought，思维链），来发现异常行为。循环 Transformer 的内部循环计算未必全部体现在 CoT 中，可能削弱这类监控的效果。据报道，OpenAI 在此前的模型中为保留人类可读的推理记录而限制了循环结构的使用，这项技术也成为围绕解雇安全研究人员的争议焦点之一。还需记住，目前已知的内容很多来自媒体报道，而非官方发布。
示例
本站在《OpenAI 下一代模型采用循环 Transformer……推理过程难以监控，集中力量保障安全（报道）》一文中提到了这个术语。据报道，OpenAI 在推出未公开的下一代模型之前，正在进行对齐工作并加强测试环境的沙箱，相关人士表示已将约 10% 的计算资源分配给对齐与安全工作。报道还转述了员工的说法：新模型通过内部安全评估后，美国政府可进行最长 30 天的测试，之后方可部署。
本站出现过的地方
- 简报 OpenAI 下一代模型采用“循环 Transformer”……推理过程难以监控，集中力量保障安全（报道） 2026-10-14