자기회귀 모델 Autoregressive model
자기회귀 모델(Autoregressive model)은 지금까지 만든 결과를 보고 바로 다음 한 조각을 예측하고, 그 조각을 다시 입력에 붙여 또 다음을 예측하는 방식을 반복해 결과를 만들어 내는 모델입니다. 오늘날 대부분의 LLM이 이 방식으로 글을 씁니다.
어떻게 작동하나
사용자가 프롬프트를 넣으면 모델은 그 문장 전체를 보고 '다음에 올 토큰'으로 무엇이 그럴듯한지 확률을 계산해 하나를 고릅니다. 고른 토큰을 기존 문장 끝에 붙이고, 늘어난 문장을 다시 모델에 넣어 또 다음 토큰을 고릅니다. 이 과정을 끝을 뜻하는 신호가 나오거나 정해 둔 길이에 닿을 때까지 반복합니다. '자기회귀'라는 이름은 자기가 방금 만든 출력을 다시 자기 입력으로 쓴다는 뜻에서 왔습니다. 이렇게 매번 앞 내용을 다시 읽으면 낭비가 크기 때문에, 이미 계산한 앞부분 정보를 저장해 두고 재사용하는 KV 캐시 같은 기법을 함께 씁니다.
왜 중요한가
'다음 토큰 맞히기'라는 단순한 목표만으로 인터넷의 방대한 글을 학습할 수 있어서, 별도로 정답을 달아 줄 필요 없이 큰 규모로 사전 학습하기 좋습니다. 트랜스포머 기반 LLM 대부분이 이 방식을 따르며, 글뿐 아니라 이미지·음성·영상을 토큰으로 바꿔 같은 방식으로 생성하는 모델도 많습니다. 그래서 자기회귀 방식은 현재 생성형 AI의 가장 기본이 되는 생성 원리라고 할 수 있습니다.
알아 둘 점
한 번에 토큰 하나씩 차례로 만들어야 하므로, 결과가 길어질수록 시간이 오래 걸리고 병렬로 처리하기 어렵습니다. 이를 줄이려고 작은 모델이 여러 토큰을 미리 추측하고 큰 모델이 한꺼번에 검사하는 추측 디코딩 같은 기법이 쓰입니다. 또 앞에서 한 번 잘못 고른 토큰을 되돌리지 못하고 그 위에 계속 쌓아 가기 때문에 오류가 누적될 수 있습니다. 이런 한계 때문에 전체 결과를 여러 번에 걸쳐 동시에 다듬는 디퓨전 모델 방식을 언어 생성에 적용하려는 연구도 활발합니다.
예시
챗봇에 질문하면 답이 한 글자씩 또는 한 단어씩 화면에 흘러나오는 것을 볼 수 있는데, 모델이 자기회귀 방식으로 토큰을 하나씩 만들어 바로바로 보여 주기 때문입니다. 이 사이트에 소개된 논문 중 'In-Distribution Forcing'은 테스트 시점에 긴 영상을 생성할 때 KV 캐시를 어떻게 운용할지를 다루는데, 영상도 앞부분을 보고 다음 부분을 이어 만드는 자기회귀 방식으로 생성할 수 있음을 보여 줍니다. 반대로 'ALoDLM'처럼 확산(디퓨전) 방식의 언어 모델을 다룬 연구는 자기회귀 방식의 대안을 찾는 흐름에 속합니다.
이 사이트에서 나온 사례
- 논문 ALoDLM: 토큰마다 반복 깊이를 조절하는 루프형 확산 언어 모델 2026-10-07
- 논문 In-Distribution Forcing: 테스트 시점에 긴 영상을 생성하기 위한 분포 내 KV 운용 2026-10-07