PAR: 반복 횟수와 문제 진행을 맞춘 Looped 언어 모델로 상태 추적 길이 일반화하기

문제

같은 Transformer 블록을 반복하는 Looped 언어 모델은 테스트 때 반복을 늘릴 수 있지만, 그렇다고 더 긴 문제를 푸는 것은 아니다. 최종 답만으로 학습하면 각 반복이 얼마나 진행해야 하는지 정해지지 않는다. 반복 업데이트를 거치면서 Hidden 상태의 크기도 변한다.

방법

Qwen2.5-0.5B의 24개 층을 prelude(1–8층), 가중치를 공유하는 core(9–16층), coda(17–24층)로 나눠 Looped 모델로 바꿨다. 반복 k의 출력이 처음 k개 연산을 적용한 중간 상태와 맞도록 학습하고(progress-aligned target), 매 반복 뒤 상태를 첫 반복의 RMS 노름으로 재조정한다(norm anchoring). 같은 출력층이 '계산 완료' 여부도 예측하게 해, 문제 길이를 몰라도 멈출 수 있게 했다(learned halting). 중간 라벨이 없을 때는 문제의 앞부분(prefix)을 짧은 문제로 보고, 그 예측을 Teacher 신호로 쓰는 prefix self-distillation을 적용했다.

결과

• swap-S5에서 최대 32수로 학습한 뒤 512수(16배)에서 전체 상태 정확도 95.5%를 기록했다. 같은 조건에서 인용된 RLT는 55.7%, 명시적 CoT는 0.8%였다.
• 통제된 S5 실험에서 norm anchoring을 빼면 Extrapolation 배율이 16배에서 2.2배 미만으로, 최종 답 supervision으로 바꾸면 최대 8배로 떨어졌다.
• 문제 길이를 모르는 learned halting으로도 16배 길이에서 92.9%를 기록해, 정답 반복 횟수를 알려 준 경우(93.2%)와 거의 같았다.
• 중간 라벨 없이 prefix self-distillation만 쓴 경우 S5 d=256(16배)에서 85%였고, 다른 최종 답 학습법은 우연 수준(20% 안팎)에 머물렀다.
• Qwen3-4B에서도 16배 길이 정확도가 고정 깊이 17.7% 대비 53%였지만, 큰 모델일수록 seed 간 편차가 컸다.

한계

순열 상태 추적, 규칙 표 연쇄, 그래프 도달성처럼 합성된 순차 과제에서만 검증했다. 1.5B~7B 백본에서는 seed에 따라 성능이 0에 가깝기도 해 편차가 크다(예: 3B 평균 57.8±42.5). RLT 수치는 다른 논문 보고값을 인용한 것이다. 완료 시점을 지나 반복하면 정답이 빠르게 무너져 halting 규칙에 의존한다.

의미

테스트 시 연산을 늘리는 'recurrent depth'가 실제로 더 긴 문제 해결로 이어지려면, 각 반복이 무엇을 계산해야 하는지 정하고 상태 크기를 통제해야 한다는 점을 실험으로 보여 준다. 텍스트 CoT 없이 잠재 공간에서 추론하는 연구에 설계 지침을 준다.

핵심 용어

Looped 언어 모델

같은 Transformer 블록을 여러 번 반복 적용해 파라미터를 늘리지 않고 계산 깊이를 키우는 모델이다.

길이 일반화(Length generalization)

짧은 문제로 학습한 모델이 같은 규칙의 더 긴 문제도 맞히는 능력이다.

Norm anchoring

반복마다 Hidden 상태의 크기를 첫 반복 때의 RMS 노름으로 되돌려, 수백 번 반복해도 상태가 표류하지 않게 하는 기법이다.

Prefix self-distillation

문제의 앞 k단계만 남긴 짧은 문제에 대한 모델(EMA Teacher)의 예측을, 전체 문제의 k번째 반복 정답으로 삼아 중간 라벨 없이 학습하는 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, Zimi Liu, Zhihao Wen, Jianshe Li, 외 · 게시 2026-10-20 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.