Next-Concept Modeling 다음 개념 예측
Next-Concept Modeling(NCM)은 글을 단어 하나씩 쓰지 않는 텍스트 생성 방식이다. 먼저 글 전체의 큰 윤곽을 거친 코드로 만들고, 그 위에 세부 내용을 단계마다 한꺼번에 채워 넣어 빠르게 글을 만든다. 2026년 10월 arXiv에 공개된 연구 논문이 제안했다.
무엇이 다른가
지금 쓰이는 LLM 대부분은 자기회귀 모델이라서 앞의 토큰을 보고 다음 토큰을 하나씩 이어 붙인다. 정확하지만 글이 길어질수록 생성 시간도 그만큼 늘어난다. 디퓨전 언어 모델(DLM)은 여러 토큰을 동시에 만들어 더 빠르지만, 논문에 따르면 단계 수를 줄이면 품질이 금방 떨어지고, 매 단계마다 시퀀스 전체를 다시 처리하며, 좋은 품질에 이르기까지 데이터셋을 여러 번 학습해야 한다. NCM은 '거친 것에서 세밀한 것으로(coarse-to-fine)' 내려가는 두 단계 구조로 이 문제들을 피하려는 방식이다.
세 가지 글 생성 방식
자기회귀 모델한 토큰씩 차례로
- 앞 토큰을 보고 다음 토큰 예측
- 글이 길수록 생성 시간 증가
디퓨전 언어 모델여러 토큰을 동시에
- 병렬 생성으로 더 빠름
- 단계를 줄이면 품질 하락
- 매 단계 전체 시퀀스 처리
NCM윤곽 먼저, 세부는 나중
- 층별 코드를 위층부터 생성
- 같은 층은 한꺼번에 병렬 예측
- 아직 연구 단계
공통 셋 다 트랜스포머 계열 모델로 글을 생성한다
어떻게 작동하나
첫 단계에서는 VQ-VAE라는 압축 모델이 글을 정해진 코드 목록의 번호들로 바꾼다. 이때 여러 층(멀티스케일)으로 나누어, 위층은 글의 큰 윤곽을 담고 아래층은 위층이 놓친 차이(Residual)를 채운다. 두 번째 단계에서는 트랜스포머가 이 코드를 맨 위층부터 한 층씩 만든다. 같은 층 안의 코드는 순서대로가 아니라 한꺼번에 병렬로 예측한다. 모든 층이 채워지면 이 코드를 다시 글로 풀어낸다.
왜 주목받나
추론(인퍼런스)이 AI 계산의 큰 몫을 차지하게 되면서, 같은 품질의 글을 더 빨리 만드는 방법이 중요해졌다. 연구진은 비슷한 크기의 모델끼리 비교했을 때 LM1B 데이터에서 가장 강한 DLM보다 생성 품질 지표가 더 좋으면서 21배 빨랐다고 밝혔다. OpenWebText에서는 DLM과 비슷한 품질에 10배 빨랐고, 요약 과제인 XSum에서는 같은 수준의 점수를 31배 빠르게 냈다고 한다. 스도쿠 같은 추론 문제에서도 자기회귀·디퓨전 방식보다 적은 계산으로 모든 난이도에서 더 잘 풀었다고 밝혔다. Forbes 등 일반 매체도 '개념을 먼저, 단어는 나중에' 만드는 방식으로 소개했다.
알아 둘 점
2026년 10월 기준으로 NCM은 arXiv에 올라온 연구 논문 단계이며, 이를 쓴 상용 서비스는 확인되지 않는다. 위의 성능은 연구진이 밝힌 결과이고, 다른 연구자의 재현이나 대형 모델 규모에서의 검증은 아직 이루어지지 않았다. 비교 대상도 주로 디퓨전 언어 모델이어서, 지금 쓰이는 대형 자기회귀 LLM을 대신할 수 있는지는 따로 따져 봐야 한다. 또한 '개념'이라는 이름과 달리, 모델이 만드는 것은 사람이 읽을 수 있는 생각이 아니라 압축 모델이 학습한 코드다.
예시
NCM이 실제 제품에 들어간 사례는 아직 없다. 상상해 볼 수 있는 장면은 긴 기사를 한 번에 요약해 주는 서비스다. 자기회귀 모델은 요약문을 앞에서부터 한 토큰씩 써야 하지만, NCM 방식이라면 요약 전체의 윤곽을 먼저 잡고 세부를 층마다 한꺼번에 채워서 답을 더 빨리 돌려줄 수 있다. 논문이 요약 과제(XSum)에서 속도 이점을 보고한 것도 이런 쓰임을 염두에 둔 실험이다.