Recurrent Depth 순환 깊이
순환 깊이(Recurrent Depth)는 AI 모델이 같은 신경망 층을 여러 번 되풀이해 거치게 해서, 모델을 크게 키우지 않고도 어려운 문제에 계산을 더 쓰게 하는 방식이다. '루프 트랜스포머'라고도 부른다.
무엇인가
보통의 트랜스포머 모델은 정해진 수의 층을 한 번씩 차례로 지나며 답을 만든다. 순환 깊이 방식은 같은 층 묶음을 여러 차례 반복해 쓰면서 문제를 처리한다. 층을 새로 쌓는 대신 같은 층을 다시 돌리므로, 파라미터(모델이 학습한 숫자) 수를 크게 늘리지 않고도 계산을 더 많이 할 수 있다. 그래서 '깊이'를 층 수가 아니라 반복 횟수로 늘린다는 뜻에서 이런 이름이 붙었다.
어떻게 작동하나
입력 문장이 모델에 들어오면 먼저 내부 상태(Hidden Representation)로 바뀐다. 이 상태가 공유된 층 묶음을 한 번 지나면 조금 고쳐진 상태가 되고, 그 결과가 다시 같은 층 묶음에 들어간다. 이 고리를 여러 번 돈 뒤에야 마지막 단계에서 답을 글로 만들어 낸다. 쉬운 문제는 적게, 어려운 문제는 많이 돌게 하면 문제 난이도에 맞춰 계산량을 조절할 수 있다는 점이 이 방식의 매력이다.
어떻게 발전해 왔나
연구에서는 순환 깊이를 모델 설계에서 따로 조절할 수 있는 손잡이로 보는 흐름이 있다. 2026년 10월 arXiv에 올라온 'DeepThink' 논문은 지식을 담는 저장소, 지금 상태에 맞는 지식을 골라 쓰는 장치, 그리고 상태를 반복해서 고치는 공유된 '생각' 연산을 나눠 설계하는 틀을 제안했다. 이 논문이 새로 한 일은 '지식을 얼마나 담을지', '한 번에 얼마나 넓게 쓸지', '몇 번 반복할지(순환 깊이)'를 서로 다른 설계 변수로 떼어 내고, 이미 학습된 일반 모델에서 이런 반복 구조로 넘어가는 길을 정리한 것이다. 아직 개념 모델을 제시한 단계의 연구다.
왜 주목받나
보도에 따르면 OpenAI가 차세대 모델에 이 기술을 적용하고 있다는 소식이 나오면서 업계의 관심이 커졌다. 성능 면에서는 모델을 키우지 않고 어려운 문제에 더 많은 계산을 쓸 수 있다는 장점이 있다. 반면 안전 연구자들은 감시 문제를 걱정한다. 기존 추론 모델은 문제를 푸는 중간 단계를 자연어 CoT(Chain-of-Thought, 사고의 사슬)로 남겨 사람이 위험한 행동의 단서를 찾을 수 있는데, 순환 깊이 방식에서는 내부 계산의 상당 부분이 문장으로 드러나지 않을 수 있기 때문이다.
기존 추론 모델 대 순환 깊이
기존 추론 모델CoT를 글로 남김
- 중간 단계를 자연어로 보여 줌
- 사람이 위험 신호를 찾기 쉬움
순환 깊이같은 층을 반복
- 모델을 크게 키우지 않고 계산을 더 씀
- 내부 계산이 문장으로 드러나지 않을 수 있음
- 감시가 어려워질 수 있음
공통 둘 다 어려운 문제에 더 많은 계산을 들이려는 방법
알아 둘 점
순환 깊이는 성능을 높이는 기법인 동시에, 사람이 AI의 생각 과정을 들여다보기 어렵게 만들 수 있는 기법이라는 양면이 있다. 그래서 AI 기업들이 추론 감시를 막는 설계를 피하자는 제안도 나왔다. 특정 회사 모델에 이 기술이 어느 정도로 쓰였는지는 언론 보도로 알려진 내용이 대부분이라 공식 확인된 사실과 구분해 읽어야 한다. 반복 횟수를 늘리면 계산 시간과 비용도 함께 늘어난다는 점도 기억해 둘 만하다.
예시
이 사이트에서 다룬 소식 가운데 OpenAI 안전 연구원 3명의 해고가 '순환 깊이' 기밀 유출 조사에서 비롯됐다는 WSJ 보도가 있다. 보도에 따르면 조사의 계기는 OpenAI 모델의 새 추론 기술에 관한 언론 보도였고, 그 기술이 성능을 높이면서도 사람이 사고 과정을 파악하기 어렵게 만들 수 있다는 내용이었다. 해고된 연구원들은 기밀 유출을 부인했으며, 이들은 해고 전부터 사람이 AI의 추론을 감시할 수 있는 구조를 지켜야 한다고 주장해 왔다. 이 사건은 순환 깊이가 단순한 성능 기법을 넘어 AI 감시 가능성을 둘러싼 논쟁거리가 되었음을 보여 준다.