PAR：通过让迭代次数与问题进度对齐的 Looped 语言模型实现状态追踪的长度泛化

问题

重复同一 Transformer 块的 Looped 语言模型可以在测试时增加迭代次数，但这并不意味着它能解决更长的问题。若只用最终答案训练，就无法确定每次迭代应推进多少。经过迭代更新后，隐藏状态的大小也会变化。

方法

将 Qwen2.5-0.5B 的 24 层分为 prelude（第 1–8 层）、共享权重的 core（第 9–16 层）和 coda（第 17–24 层），改造为 Looped 模型。训练使第 k 次迭代的输出与应用前 k 个运算后的中间状态一致（progress-aligned target），并在每次迭代后将状态重新缩放到第一次迭代的 RMS 范数（norm anchoring）。让同一个输出层同时预测“计算是否完成”，从而在不知道问题长度时也能停止（learned halting）。没有中间标签时，将问题的前段（prefix）视为较短的问题，并把对它的预测用作教师信号，即采用 prefix self-distillation。

结果

• 在 swap-S5 上以最多 32 步训练后，在 512 步（16 倍）时取得了 95.5% 的完整状态准确率。同一条件下引用的 RLT 为 55.7%，显式 CoT 为 0.8%。
• 在受控 S5 实验中，去掉 norm anchoring 后外推倍数从 16 倍降至不足 2.2 倍；改为最终答案 supervision 后最多只有 8 倍。
• 即使使用不知道问题长度的 learned halting，在 16 倍长度上也取得了 92.9%，与给定正确迭代次数的情况（93.2%）几乎相同。
• 在没有中间标签、仅使用 prefix self-distillation 的情况下，S5 d=256（16 倍）上达到 85%，而其他最终答案训练方法停留在随机水平（20% 左右）。
• 在 Qwen3-4B 上，16 倍长度准确率也达到 53%，而固定深度为 17.7%；但模型越大，不同 seed 之间的差异越大。

局限

仅在置换状态追踪、规则表链式查找、图可达性等合成序列任务上进行了验证。在 1.5B~7B 骨干网络上，部分 seed 的性能接近 0，差异很大（例如 3B 平均 57.8±42.5）。RLT 的数值引自其他论文的报告值。超过完成时间点继续迭代时答案会迅速崩溃，因此依赖 halting 规则。

意义

实验表明，要让增加测试时计算的“recurrent depth”真正带来更长问题的求解能力，需要确定每次迭代应计算什么，并控制状态的大小。这为不依赖文本 CoT、在潜在空间中推理的研究提供了设计指导。

关键术语

Looped 语言模型

将同一个 Transformer 块重复应用多次，在不增加参数的情况下加深计算深度的模型。

长度泛化（Length generalization）

用短问题训练的模型也能正确解答规则相同的更长问题的能力。

Norm anchoring

在每次迭代时将隐藏状态的大小恢复到第一次迭代时的 RMS 范数，使状态即使经过数百次迭代也不会漂移的技术。

Prefix self-distillation

将模型（EMA 教师模型）对只保留前 k 步的短问题的预测，作为完整问题第 k 次迭代的正确答案，从而在没有中间标签的情况下进行训练的方法。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, Zimi Liu, Zhihao Wen, Jianshe Li, 等 · 发布 2026-10-20 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。