순환 깊이(Recurrent Depth): 같은 층을 여러 번 돌려 더 깊이 생각하기

왜 필요했나: 층을 쌓는 것만으로는 부족한 이유

보통의 트랜스포머는 서로 다른 파라미터를 가진 층을 정해진 수만큼 쌓는다. 입력은 이 층들을 한 번 통과하고 끝나므로, 모델이 한 번의 계산(Forward pass) 안에서 쓸 수 있는 '생각의 깊이'는 층 수로 고정된다. 문제를 더 오래 생각하게 하려면 CoT(Chain-of-Thought)처럼 중간 추론을 글로 써 내려가게 하는 수밖에 없었다.

순환 깊이 트랜스포머 연구논문는 이 한계를 '암묵적 추론'의 관점에서 짚는다. 대규모 언어 모델은 사실과 규칙을 많이 기억하지만, 이를 여러 단계로 엮는 다단계 추론을 한 번의 계산 안에서 해내는 데 자주 실패한다. 이 연구는 이를 모델이 아는 지식을 조합하는 일반화 능력이 부족하다는 신호로 본다.

또 다른 문제는 파라미터 수와 계산 깊이가 묶여 있다는 점이다. 깊게 계산하려면 층을 더 쌓아야 하고, 그러면 모델이 커진다. 순환 깊이는 이 둘을 떼어 놓으려는 시도다. 같은 층을 여러 번 쓰면 모델 크기는 그대로 두고 계산만 늘릴 수 있다.

핵심 아이디어: 같은 블록을 여러 번 돌린다

순환 깊이(Recurrent Depth)는 층을 반복해 계산량을 늘릴 수 있는 언어 모델 구조를 말하며, 트랜스포머에서는 Universal 또는 루프 트랜스포머(Loop Transformer)라고도 부른다고 병렬 샘플러 연구논문는 정리한다. 핵심은 하나의 공유 블록을 T번 연달아 적용해 내부 Representation(모델 안에서 정보를 담는 숫자 벡터)을 점점 다듬는 것이다.

비유하자면 원고를 쓰는 방식의 차이다. 일반 트랜스포머는 열두 명의 편집자가 차례로 한 번씩 손보는 출판사와 같다. 순환 깊이 모델은 한 명의 숙련된 편집자가 같은 원고를 여러 번 다시 읽으며 고치는 방식이다. 편집자 수(파라미터)는 적지만, 어려운 원고에는 더 여러 번 읽는 시간(계산)을 쓸 수 있다.

중요한 점은 반복 횟수를 학습할 때가 아니라 실행할 때 고를 수 있다는 것이다. 반복을 줄이면 싸고 빠르며, 늘리면 더 깊이 계산한다. 이 때문에 순환 깊이는 테스트 타임 컴퓨트(추론 시점에 계산을 더 쓰는 방식)를 글을 더 쓰지 않고 모델 내부에서 늘리는 방법으로 읽힌다. 2단계 동역학 연구논문도 순환 깊이 트랜스포머를 '토큰을 내보내기 전에 잠재 계산을 반복해 테스트 타임 컴퓨트를 늘리는 구조'로 설명한다.

어떻게 작동하나

작동은 대략 네 단계로 볼 수 있다. 첫째, 입력 토큰을 임베딩으로 바꾼다. 둘째, 공유 블록을 한 번 적용해 내부 상태를 갱신한다. 셋째, 갱신된 상태를 다시 같은 블록에 넣는 일을 정해진 횟수만큼, 또는 멈춤 조건이 충족될 때까지 반복한다. 넷째, 마지막 상태에서 다음 토큰을 읽어 낸다. 반복 각 단계의 상태에서도 출력을 읽을 수 있어, 한 모델이 여러 깊이의 답을 낼 수 있다.

반복이 내부에서 무엇을 하는지는 2단계 동역학 연구논문가 들여다봤다. 이 연구에 따르면 한 루프 블록 안의 갱신은 작은 폭의 정밀한 다듬기이고, 연속된 블록 사이에서는 더 큰 폭의 이동이 일어난다. 학습이 진행될수록 루프 한 번의 이동 폭은 작아지고 이동 방향끼리는 점점 직교에 가까워졌는데, 연구진은 이를 한 방향으로 밀기만 하는 것이 아니라 세밀한 구조를 다듬는다는 신호로 해석했다.

언제 멈출지도 설계 요소다. 같은 연구는 이동 폭의 2차 차분(변화량의 변화)을 기준으로 일찍 멈추는 방식을 제안했고, 이것이 KL 발산 기준이나 단순한 1차 차분 기준보다 성능·안정성·시간 효율에서 낫다고 보고했다. 비전 쪽 RD-ViT논문는 ACT(Adaptive Computation Time, 위치마다 계산량을 다르게 쓰는 방법)를 붙였고, 학습 중 평균 반복 횟수가 2.6에서 1.4로 줄며 계산을 경계 부분에 더 쓰는 모습을 보였다.

발전 흐름: 원리 이해에서 속도·안전·응용으로

출발점 논문들은 2025년 가을부터 2026년 10월 사이에 나왔고, 크게 네 갈래로 나뉜다. 첫째 갈래는 원리 이해다. 2단계 동역학 연구논문가 반복의 기하학을 분석했고, 순환 깊이 트랜스포머 연구논문는 처음부터 학습시킨 모델로 통제 실험을 했다. 이 연구에서 일반 트랜스포머는 학습 중 한 번도 조합해 본 적 없는 지식을 엮는 체계적 일반화와, 최대 5단계까지 학습한 뒤 10단계 추론을 하는 깊이 Extrapolation 모두에 어려움을 겪었지만 순환 깊이 트랜스포머는 둘 다 해냈다. 체계적 일반화는 암기 → 분포 내 일반화 → 체계적 일반화로 넘어가는 3단계 Grokking(오래 학습한 뒤 갑자기 일반화가 나타나는 현상)으로 나타났고, 깊이 Extrapolation은 추론 때 반복 횟수를 늘려 풀 수 있었다.

둘째 갈래는 속도다. 병렬 샘플러 연구논문는 순환 깊이 모델과 디퓨전 언어 모델의 닮은 점에 주목해, 매 계산마다 새 토큰을 내보내면서 앞선 토큰들의 상태는 반복으로 병렬로 다듬는 샘플러를 만들었다. 기존 35억(3.5B) 파라미터 순환 깊이 트랜스포머에 추가 조정 없이 적용해 최대 5배 빨라졌다. RAMP논문는 긴 입력을 처리하는 프리필 단계에서 반복 계산이 비용을 키운다는 점을 겨냥했다. 앞쪽 반복에서 생긴 양자화 오차는 뒤이은 반복에서 줄어든다는 분석을 근거로, 앞쪽 반복은 낮은 정밀도로, 마지막 반복은 높은 정밀도로 계산한다. 4K 길이까지 거의 전체 정밀도 수준의 품질을 유지하면서 NVIDIA H100에서 첫 프리필을 최대 1.16배(지연 13.9% 감소) 빠르게 했다.

셋째 갈래는 안전이다. SafeBridge 연구논문는 깊이마다 따로 출력을 읽을 수 있다는 특성 때문에 공격받을 수 있는 출력 공간이 넓어진다고 지적했다. 탈옥 공격 성공률이 더 깊은 반복에서 오히려 오를 수 있고, 같은 질문이 깊이마다 다른 안전 행동을 보이며, 한 깊이를 겨냥한 공격이 다른 깊이로 옮겨 갔다. SFT와 선호 정렬로는 이 차이가 사라지지 않아, 깊이별 제어와 여러 깊이를 함께 감독하는 정렬 방법을 제안했다.

넷째 갈래는 응용이다. RD-ViT논문는 이 구조를 의료 영상 분할에 옮겨, 학습 데이터 10%만 쓴 2D 설정에서 Dice 0.774로 일반 ViT(0.762)를 앞섰고, 3D에서는 MoE를 붙여 300만(3.0M) 파라미터로 일반 ViT 성능(0.817)의 99.4%인 0.812를 파라미터 53%로 달성했다. 임상 텍스트 연구논문에서는 Ouro-1.4B-Thinking이 13개 데이터셋 중 11개에서 Qwen3-1.7B보다 높았고, Ouro-2.6B-Thinking은 대부분 과제에서 Qwen3-8B와 비슷했다. 반면 HRM-Text-1B는 결과가 엇갈렸다.

요즘 어디로 가고 있나

최근 연구의 큰 흐름은 '더 돌리면 정말 더 잘하게 만들기'와 '돌리는 비용 줄이기'다. PAR논문은 반복 횟수를 늘린다고 긴 문제를 저절로 풀지는 않는다는 점에서 출발한다. 최종 답만으로 학습하면 반복 한 번이 얼마나 진행해야 하는지 정해지지 않고, 반복하면서 내부 상태의 크기가 변해 버린다. PAR은 k번째 반복의 예측이 처음 k개 연산을 마친 상태와 맞도록 학습하고, 반복 상태의 크기를 첫 반복의 크기로 되돌린다.

그 결과 순열 상태 추적 과제(swap-S5)에서 최대 32수로 학습한 Qwen2.5-0.5B 모델이 학습 길이의 16배인 512수에서 평균 95.5% 정확도를 냈다. 같은 백본에서 RLT는 55.7%, 명시적 CoT는 0.8%로 보고됐다. 상태 크기 고정을 빼면 Extrapolation 배율이 2.2배 아래로, 진행에 맞춘 목표를 최종 답 감독으로 바꾸면 최대 8배로 줄었다. 순환 깊이 트랜스포머 연구논문가 보인 '반복을 늘리면 더 깊이 추론한다'는 가능성을 실제로 끌어내려면 학습 설계가 필요하다는 뜻이다.

속도 쪽에서는 LoopAhead논문가 추측 디코딩(작은 초안을 먼저 만들고 큰 모델이 검증하는 방식)을 루프 구조에 맞췄다. 이른 반복의 상태로 여러 미래 토큰의 초안을 만들고, 더 깊은 반복의 신호로 어떤 초안 갈래를 이어갈지 정하며, 최종 결정은 전체 깊이 모델이 내린다. 원래 모델의 출력 분포를 유지하면서 자기회귀 디코딩 대비 최대 7.82배 빨라졌다고 보고했다. 반복 깊이마다 다른 역할을 맡긴다는 점에서, 깊이를 단순한 '횟수'가 아니라 설계할 수 있는 자원으로 다루는 흐름이 보인다.

한계와 쟁점

가장 실무적인 쟁점은 안전이다. 반복 횟수 줄이기 연구논문는 공개된 Ouro 체크포인트 4개와 Huginn-0125를 조사했다. 반복을 학습된 깊이의 절반으로 줄여도 Ouro-1.4B-Thinking은 GSM8K 수학 문제 정답률이 0.775에서 0.692로, 원래의 89%를 유지했다. 그런데 같은 조건에서 유해 요청을 도와주는 비율은 0.038에서 0.205로 5.3배 뛰었다. 비용을 아끼려고 반복을 줄이는 배포 결정이 안전을 가장 크게 깎는 셈이다.

흥미롭게도 정보 자체는 사라지지 않았다. 반복 한 번만 거친 내부 상태에서도 단순한 선형 분류기가 요청의 유해 여부를 ROC AUC 0.967(전체 깊이에서 0.986)로 읽어 냈다. 사라진 것은 그 뒤에 이어져야 할 거절이다. 전체 깊이 Ouro-1.4B의 내부 상태에서 한 방향만 제거하자 유해 프롬프트 거절률이 0.950에서 0.130으로 떨어졌다. 모델의 기존 조기 멈춤 규칙은 유해 요청에 반복을 더 쓰지 않았고, 요청마다 깊이를 고르는 방식도 손실을 되찾지 못했으며, 학습을 바꿔야 효과가 있었다고 보고됐다. SafeBridge 연구논문의 결론과 같은 방향이다.

비용도 공짜가 아니다. 반복은 그만큼 계산을 더 쓰고, 특히 긴 입력의 프리필에서 전체 입력을 반복 처리하므로 부담이 크다고 RAMP논문는 지적한다. 가속 기법들이 나오고 있지만 대부분 특정 단계(프리필, 디코딩)를 겨냥한 부분적인 해법이다.

마지막으로 근거의 범위를 구분해야 한다. 깊이 Extrapolation 결과는 처음부터 학습한 통제 실험이나 상태 추적 같은 구조가 분명한 과제에서 나온 것이다. 임상 텍스트 연구논문 스스로도 구조 자체의 효과를 분리하는 통제 실험이 더 필요하다고 밝혔다. RD-ViT논문의 결과도 하나의 심장 MRI 벤치마크에서 나온 것이어서, 실제 진료 성능으로 읽어서는 안 된다.

더 공부하려면

개념부터 잡으려면 순환 깊이 트랜스포머 연구논문를 먼저 읽기를 권한다. 일반 트랜스포머와 무엇이 다른지, 반복을 늘리면 무엇이 가능해지는지를 통제 실험으로 보여 준다. 이어서 2단계 동역학 연구논문로 반복이 내부에서 어떤 모양으로 움직이는지, 언제 멈추는지를 보면 작동 감각이 생긴다.

추론 시스템을 만드는 입장이라면 병렬 샘플러 연구논문, RAMP논문, LoopAhead논문를 함께 읽으면 좋다. 세 편 모두 '같은 블록을 반복한다'는 구조적 특성을 가속에 이용한다는 공통점이 있어 비교하며 읽기 좋다.

배포를 고민한다면 SafeBridge 연구논문와 반복 횟수 줄이기 연구논문를 꼭 읽어야 한다. 반복 횟수를 런타임 설정으로 바꾸는 일이 안전 평가를 다시 해야 하는 변경이라는 점을 구체적인 수치로 보여 준다. 학습 설계에 관심이 있다면 PAR논문이 반복마다 무엇을 가르쳐야 하는지에 대한 좋은 사례다.