← 주제 탐구

주제 탐구 · 2026-11-15 · 심화 · 작성자 bombong

Draft 모델 학습: Distillation으로 추측 디코딩 수용 길이 높이기

추측 디코딩의 속도는 작은 Draft 모델이 낸 토큰을 큰 Target 모델이 몇 개나 연달아 받아들이느냐(수용 길이)로 정해진다. 최근 연구는 Draft 모델을 Target 출력을 베끼는 방식에서 자기 제안을 채점받는 On-policy Distillation과 수용 길이를 직접 겨냥한 손실로 옮겨 가고 있다.

목차
핵심 정리
  • 추측 디코딩의 속도는 Draft 모델 품질, 그중에서도 한 번 검증할 때 연달아 받아들여지는 토큰 수인 수용 길이가 좌우한다.
  • Target이 만든 고정 데이터로 SFT를 하면 수용 길이가 금방 정체된다. 학습할 때 보는 상태와 실제 추론에서 Draft가 놓이는 상태가 달라서다.
  • On-policy Distillation은 Draft가 직접 낸 제안을 Target이 채점하게 해서, 실제로 거절이 일어나는 지점에 학습을 모은다.
  • 손실 함수도 CE·KL 같은 분포 맞추기에서 TV, 그리고 블록 단위 기대 수용 길이(EAL·WTV·REAL)로 점점 '진짜 목표'에 가까워지고 있다.
  • 한 번에 블록을 통째로 내는 병렬 드래프터에서는 블록 안 토큰끼리 서로를 보지 못한다. 이 때문에 MDraft·DStill·SpecOPD 같은 전용 학습법이 따로 나왔다.

왜 Draft 모델 학습이 따로 문제가 되나

추측 디코딩(Speculative decoding)은 작고 빠른 Draft 모델이 다음 토큰 여러 개를 먼저 제안하고, 크고 정확한 Target 모델이 그 제안을 한 번의 계산으로 병렬 검증하는 추론 가속 기법이다. 최종 출력은 Target이 결정하므로 품질은 유지하면서 Target을 부르는 횟수만 줄인다. 얼마나 빨라지는지는 수용 길이(acceptance length), 곧 한 번 검증할 때 Draft 토큰이 몇 개나 연달아 받아들여지느냐로 거의 정해진다. Test-Time Speculation논문과 수용 길이 인지 학습 연구논문 모두 이 점을 출발점으로 삼는다. Target은 손대지 않으니, 결국 성능은 Draft 모델을 어떻게 학습시키느냐에 달렸다.

지금까지 흔히 쓴 방법은 두 가지다. 하나는 Target이 생성한 Trajectory(출력 문장 기록)로 Draft를 SFT(지도 미세조정)하는 것이고, 다른 하나는 Target의 출력 확률 분포 전체를 흉내 내게 하는 soft-label Distillation(지식 증류)이다. Draft-OPD논문는 EAGLE-3나 DFlash 같은 드래프터를 SFT로 학습하면 테스트 데이터의 수용 길이가 금방 오르지 않게 된다고 관찰했다. 학습 때 Draft는 Target이 만든 고정된 문장을 보지만, 실제 추론에서는 자기가 제안한 블록 위에서 평가받는다. 오프라인 학습과 추론 사이의 이런 불일치가 정체의 원인이라는 것이다.

목표 함수도 어긋나 있다. 수용 길이 인지 학습 연구논문는 기존 학습이 주로 크로스엔트로피(CE)나 KL 발산을 대리 지표로 최적화할 뿐 수용 길이를 직접 겨냥하지 않는다고 지적한다. RCSD논문는 soft-label Distillation이 Target 분포의 엔트로피가 높은 구간(어느 토큰이 나올지 Target도 확신하지 못하는 곳)까지 억지로 따라 하게 만들어 수용률을 떨어뜨린다고 본다. 구조 쪽 불일치도 있다. GTO논문에 따르면 학습은 가장 그럴듯한 경로 하나만 최적화하는데, 실제 디코딩은 여러 갈래를 트리로 만들어 함께 검증한다. 정리하면 문제는 세 가지다. 무엇을 보고 배우나(데이터), 무엇을 최적화하나(목표), 어떤 형태로 쓰이나(구조)가 모두 실제 사용과 맞지 않는다.

핵심 아이디어: 모범답안 베끼기에서 내 답안 채점받기로

받아쓰기 연습으로 비유하면 이해가 쉽다. 기존 SFT는 선생님(Target)이 쓴 모범답안만 계속 베껴 쓰는 학생(Draft)과 같다. 손에는 익지만, 시험에서 자기가 첫 글자를 틀린 뒤에 어떻게 이어 가야 할지는 배우지 못한다. On-policy Distillation(OPD)은 학생이 직접 답을 쓰고, 선생님이 그 답의 어디가 틀렸는지 표시해 주는 방식이다. Teacher 모델은 Target, Student 모델은 Draft다. Draft-OPD논문는 이를 'Draft가 만들어 낸 상태 위에서 Target이 감독하는 것'이라고 설명한다.

두 번째 아이디어는 채점 기준을 바꾸는 것이다. 추측 디코딩에서는 앞에서부터 연달아 맞아야 점수가 된다. 첫 토큰이 거절되면 뒤에서 아무리 맞혀도 소용없다. 그래서 '각 토큰 분포가 Target과 얼마나 비슷한가'보다 '연속으로 몇 개가 받아들여지는가'를 직접 손실 함수로 삼는다. 수용 길이 인지 학습 연구논문의 EAL·WTV 손실, GTO논문의 Draft Tree Reward가 이 생각에서 나왔다.

이 방식을 쓸 수 있는 이유가 있다. Test-Time Speculation논문이 짚었듯 검증 단계는 원래 Draft 토큰 하나하나에 대해 Target을 계산한다. 학습에 필요한 Teacher 신호가 추론 과정에서 이미 만들어지는 셈이다. 비싼 Target을 따로 돌리지 않아도 채점표를 거의 공짜로 얻는다는 점이 이 설계의 핵심 장점이다.

어떻게 작동하나: 제안·검증·손실의 고리

On-policy 방식의 한 바퀴는 대략 다음과 같다. 먼저 문맥이 주어지면 Draft가 다음 몇 토큰짜리 블록을 직접 샘플링한다(Rollout). 다음으로 Target이 그 블록을 한 번에 읽고 각 위치의 확률 분포를 계산한다. 이것이 검증이면서 동시에 Teacher의 정답지다. 셋째로 어느 위치에서 처음 거절이 일어났는지, 각 위치에서 Draft와 Target 분포가 얼마나 겹치는지를 구한다. 넷째로 이 정보로 손실을 계산해 Draft를 업데이트하고, 바뀐 Draft로 다시 제안한다.

손실을 이해하는 열쇠는 TV(Total Variation, 두 분포가 어긋난 정도) 거리다. TVP논문에 따르면 출력 분포를 바꾸지 않는 표준 추측 샘플링에서 Draft 토큰이 받아들여질 확률은 1 − TV, 곧 1에서 Target·Draft 분포 사이의 TV 거리를 뺀 값이다. 그런데 블록의 k번째 토큰은 앞의 k−1개가 모두 받아들여졌을 때만 의미가 있다. 그래서 블록 단위 손실은 위치별 겹침에 '앞쪽이 모두 살아남았을 확률'을 곱해 더하는 꼴이 된다. 검증 방식에 따라 식도 달라진다. 수용 길이 인지 학습 연구논문는 가장 확률 높은 토큰만 비교하는 greedy 검증에는 EAL(기대 수용 길이) 손실을, 온도를 둔 샘플링 디코딩에는 WTV(window total variation) 손실을 제안했다. 두 손실 뒤에 시뮬레이션한 수용 길이를 보상으로 삼는 GRPO 강화학습 단계를 붙일 수도 있다.

실제로 구현해 보면 Rollout이 걸림돌이다. Draft-OPD논문는 Draft가 혼자서는 긴 문장을 안정적으로 끝까지 생성하지 못하고, 그렇다고 Target 도움을 받아 생성하면 모은 문장이 Target 분포를 따르게 돼 On-policy 신호가 사라진다고 지적했다. 그래서 이 연구는 이어 쓰기는 Target 도움으로 안정적으로 하되, 검증에서 드러난 오류 위치로 돌아가 그 지점부터 Draft의 제안을 다시 재생(replay)하는 방법을 썼다. 이렇게 하면 받아들여진 제안과 거절된 제안 모두에서 Target 피드백을 받아, 수용을 실제로 가로막는 Draft 쪽 오류에 학습을 모을 수 있다.

On-policy Draft 학습 고리문맥 → Draft 모델; Draft 모델 → Target 모델(제안); Target 모델 → 수용·거절 위치(검증); 수용·거절 위치 → 수용 길이 손실; 수용 길이 손실 → Draft 모델(업데이트); Target 생성 데이터 → Draft 모델(SFT)문맥프롬프트·앞선 출력Draft 모델블록 직접 제안Target 모델병렬 검증 = 정답지수용·거절 위치첫 거절 지점수용 길이 손실TV·EAL·WTV 등Target 생성 데이터기존 SFT용 고정Trajectory제안검증업데이트SFT
On-policy Draft 학습 고리 위쪽 줄은 Draft의 제안이 Target 검증을 거쳐 수용·거절 결과가 되는 흐름이고, 그 결과로 계산한 손실이 다시 Draft를 업데이트한다. 점선은 기존 SFT 방식으로, 고정된 Target 생성 데이터만 쓴다.

발전 흐름: 데이터·목표·구조를 차례로 맞추다

GTO논문는 학습과 디코딩 사이의 구조 불일치를 먼저 다뤘다. 디코딩은 여러 갈래의 트리로 검증하는데 학습은 경로 하나만 최적화한다는 문제다. 이 연구는 Target 아래서 Draft 트리의 기대 수용 길이와 같은 'Draft Tree Reward'를 정의하고, 현재 Draft와 고정된 참조 Draft의 트리를 비교하는 그룹 기반 PPO식 업데이트로 학습을 안정시켰다. 대화(MT-Bench)·코드(HumanEval)·수학(GSM8K)에서 EAGLE-3보다 수용 길이를 7.4%, 속도를 7.7% 더 높였다고 보고했다.

2026년에는 On-policy 데이터 쪽 진전이 이어졌다. Draft-OPD논문는 앞서 설명한 오류 위치 재생 방식으로, 생각하는(thinking) 모델에서 출력 손실 없이 5배가 넘는 가속을 얻었고 EAGLE-3와 DFlash보다 각각 23%, 13% 좋아졌다고 밝혔다. Test-Time Speculation논문은 시점을 추론 중으로 옮겼다. DFlash·EAGLE-3·PARD 같은 최신 드래프터도 출력이 수천 토큰을 넘으면 수용 길이가 1 근처, 즉 가속이 없는 수준까지 떨어진다. 짧은 문장으로 오프라인 학습했기 때문이다. 이 연구는 검증 단계에서 이미 나오는 Target 신호로 Draft를 생성 도중에 계속 Distill하는 온라인 방식으로 수용 길이를 최대 72%, 평균 41% 높였다.

목표 함수 쪽에서는 수용 길이 인지 학습 연구논문가 EAL·WTV 손실로 KL 기반 학습보다 꾸준히 나은 수용 길이를 보였다. 특히 샘플링 디코딩에서는 WTV, greedy 검증에서는 EAL이 잘 맞았다. RCSD논문는 다른 길을 택했다. 추측 추론 중에 자연스럽게 생기는 '수용된 시퀀스'와 '거절된 시퀀스'를 암묵적 선호 쌍으로 묶고, Target과 이미 일치하는 토큰은 마스킹해 벌점을 주지 않는다. 이렇게 시스템 목표인 수용 길이에 맞춰 Draft를 학습시킨 결과 HASS보다 평균 수용 길이가 35% 늘고, 실제 작업에서 1.35배 빨라졌다고 보고했다. 이름처럼 도메인에 맞춘 지속 학습까지 겨냥한다.

블록 단위 병렬 드래프터가 만든 새 문제

최근 드래프터는 토큰을 하나씩 내지 않고, 한 번의 순전파로 블록 전체를 동시에 예측하는 경우가 많다. DFlash 계열처럼 블록 디퓨전 방식으로 한 번에 블록을 채우는 드래프터가 대표적이다. 제안 비용은 줄지만 새 문제가 생긴다. DStill논문은 이를 '토큰 분해 오차'라고 부른다. 블록 안 각 토큰을 같은 마스킹 블록에서 예측하므로, 같은 단계에서 다른 위치에 고른 토큰을 보지 못한다. 그 결과 앞뒤가 맞지 않는 초안이 나와 수용 길이가 줄어든다.

MDraft논문는 이 불일치가 On-policy Distillation에 어떤 영향을 주는지 분석했다. Draft는 블록 앞부분에서 실제로 뽑힌 토큰을 보지 않고 예측하지만, Target은 그 토큰들을 조건으로 정답 분포를 낸다. 그래서 같은 Draft 예측이라도 앞에 어떤 토큰이 뽑혔느냐에 따라 정답이 달라진다. 이를 따로따로 Distill하면 어떤 앞부분 뒤에서는 자연스럽지만 다른 앞부분 뒤에서는 어색한 토큰이 억눌려 수용률이 떨어진다. MDraft는 같은 문맥에서 블록을 여러 개 뽑고, 여러 앞부분에 대한 Target의 전체 어휘 분포를 모아 하나의 학습 목표로 합친다. 구조와 추론 절차는 그대로 두고 학습만 바꿔서, 사전학습 수준을 넘어 수용 길이를 끌어올렸다.

DStill논문은 다른 접근을 택했다. 여러 번 다듬는 반복 정제는 일관성을 높이지만 그만큼 느려진다. 그래서 드래프터 자신의 다단계 정제 Trajectory를 한 번에 예측하도록 Distill한다. 일부만 가린 입력에서 전부 가린 입력으로 서서히 넘어가는 커리큘럼을 써서, 한 번에 생성하는 DFlash보다 수용 길이를 최대 28%, 속도를 최대 25% 높였다. 자기회귀 디코딩 대비로는 최대 6.45배다. SpecOPD논문는 On-policy 데이터 수집 비용을 겨냥했다. 기존 파이프라인은 제안과 검증을 순서대로 반복하며 감독 신호를 모았다. 그런데 이 연구의 관찰에 따르면, 한 블록을 감독하는 데는 그 블록의 기준 앞부분과 Draft가 뽑은 기록만 있으면 된다. 그래서 서로 독립인 여러 가지(branch)를 병렬로 뽑아 제안 트리에 묶고 Target 앞부분 계산을 공유한다. 전체·희소·선형 어텐션 구조마다 각 가지의 기록을 지키는 장치를 따로 두고, 수용 길이를 직접 겨냥하는 E2E-TV 대리 손실로 학습한다. 8B·27B·125B Target과 DFlash·DSpark·DFlash V2 드래프터, 대화·코딩·수학·에이전트 네 영역에서 평균 수용 길이를 최대 41.45% 높였다.

요즘 어디로 가고 있나: 대리 목표에서 '진짜' 수용 길이로

최근 연구의 방향은 손실 함수를 실제 기대 수용 길이와 정확히 같게 만드는 것이다. TVP논문는 먼저 기본기를 다시 확인했다. 조건을 맞추고 잘 조정하면 단순한 TV 손실만으로도 여러 기존 Draft 학습 목표와 비슷하거나 더 낫고, 처음부터 학습할 때는 TV와 KL을 고정 비율로 섞어도 마찬가지라는 결과다. 이어서 남은 두 문제를 짚었다. 하나는 Draft가 확률을 충분히 주지 않은 토큰에서 TV의 기울기가 사라지는 문제이고, 다른 하나는 수용 길이 손실 안의 '앞 위치 확률 곱' 때문에 뒤쪽 위치에 학습 신호가 거의 닿지 않는 문제다. TVP는 거듭제곱 파라미터 하나로 '넓게 덮기' 목표와 '수용 지향' 목표 사이를 오가는 손실 묶음을 만들고, 이 값을 0에서 1로 서서히 올리는 방식으로 CE 대비 9.8%, 공개된 DFlash2 학습 레시피 대비 6.2~12.9% 수용 길이를 개선했다.

REAL논문은 블록 단위 목표들조차 아직 정확한 EAL이 아니라고 지적한다. 일부 손실은 뒤쪽 수용을 '실제로 받아들여진 토큰이 고른 검증 갈래'가 아니라 'Target 분포를 따르는 이어 쓰기' 위에서 평균한다. 이때 생기는 공분산 차이는 기울기 방향을 뒤집을 수도 있다. REAL은 경로 가중치로 편향 없이 추정하고, Rao-Blackwell화라는 통계 기법으로 분산을 줄였다. Qwen3.6-35B-A3B Target과 Domino 드래프터로 9개 작업 묶음, 5개 평가 시드에서 WTV·VSD·DBLast·LK보다 높은 수용 길이를 보였다. 바꾼 것은 손실 함수뿐이다.

두 흐름에는 공통점이 있다. MDraft논문와 REAL논문처럼 드래프터 구조와 추론 절차는 건드리지 않고 학습만 바꾼다. 이미 서비스 중인 추측 디코딩 스택에 그대로 끼워 넣을 수 있어서, 실무에서는 '배포된 드래프터를 후처리 학습으로 한 단계 더 올리는' 쪽이 현실적인 적용 경로가 되고 있다.

Draft 학습 손실 세 갈래

분포 맞추기CE·KL

  • Target 분포 전체를 흉내
  • 고엔트로피 구간까지 따라 함
  • 수용 길이와 간접 연결

한 칸 겹침TV

  • 수용 확률 = 1 − TV
  • 덜 덮인 토큰에서 기울기 소실

블록 수용 길이EAL·WTV·REAL

  • 연속 수용을 직접 최적화
  • 앞 위치 곱으로 뒤 위치 신호 약화
  • 근사하면 기울기가 왜곡될 수 있음

공통 Target 모델은 그대로 두고 Draft 모델의 학습 손실만 바꾼다

왼쪽에서 오른쪽으로 갈수록 실제 기대 수용 길이에 가까워지는 손실이다. 각 칸의 아래쪽 항목은 그 방식에서 알려진 약점이다.

한계와 쟁점, 그리고 실무 판단 기준

논문 수치를 그대로 비교하면 안 된다. RCSD논문는 HASS, GTO논문는 EAGLE-3, DStill논문은 한 번에 생성하는 DFlash, TVP논문는 CE와 비교했다. 기준선·Target·작업이 모두 다르다. 수용 길이 향상이 곧 같은 비율의 속도 향상도 아니다. Draft 제안 비용, 트리 검증 비용, 서빙 부하가 실제 속도에 함께 작용하므로, 도입 전에는 내 Target·내 트래픽에서 수용 길이와 처리량을 함께 재야 한다.

언제 쓰면 좋은가. SFT로 학습한 드래프터의 수용 길이가 더 오르지 않을 때는 On-policy Distillation이나 수용 길이 손실로 후처리 학습하는 것이 맞는 단계다. Draft-OPD논문와 SpecOPD논문가 모두 이 정체 구간을 겨냥한다. 처음부터 학습할 때는 TVP논문의 결과처럼 넓게 덮는 목표로 시작해 수용 지향 목표로 옮겨 가는 편이 안전하다. 손실은 디코딩 방식에 맞춰 고른다. greedy 검증이면 EAL, 샘플링 디코딩이면 WTV처럼 온도와 연속 수용을 반영한 손실을 쓴다논문. 긴 답변을 많이 생성하는 서비스라면 Test-Time Speculation논문이 보여 준 긴 출력에서의 수용 길이 붕괴를 먼저 확인한다.

흔한 실수도 정리해 둔다. 첫째, Target 도움으로만 데이터를 모으고 On-policy라고 부르는 것이다. 이렇게 하면 데이터가 Target 분포를 따라 On-policy 신호가 사라진다논문. 둘째, 병렬 드래프터에 앞부분마다 다른 Target 정답을 따로 맞추는 것이다. 그럴듯한 대안 토큰까지 억눌러 수용률이 떨어질 수 있다논문. 셋째, Target의 고엔트로피 구간까지 분포 전체를 흉내 내게 하는 것이다. 수용률을 깎을 수 있다논문. 넷째, 블록 손실의 근사가 기울기를 왜곡할 수 있다는 점을 무시하는 것이다논문. On-policy 학습은 제안과 검증을 반복하는 수집 비용이 크다는 한계도 있다. SpecOPD논문의 가지 병렬화는 바로 이 비용을 줄이려는 시도다.

Draft 학습 도입 점검

도입 판단

  • SFT 드래프터의 수용 길이가 정체됐는가
  • greedy·샘플링 중 무엇으로 디코딩하는가
  • 긴 출력에서 수용 길이가 떨어지지 않는가
  • 수용 길이와 처리량을 함께 쟀는가

학습 설계

  • 데이터가 정말 Draft 정책에서 나왔는가
  • 병렬 드래프터의 앞부분 불일치를 다뤘는가
  • 고엔트로피 구간을 억지로 따라 하지 않는가
  • 블록 손실 근사가 편향되지 않았는가
본문에서 다룬 판단 기준과 흔한 실수를 점검 항목으로 묶었다.

더 공부하려면

목표 함수의 기본부터 잡으려면 수용 길이 인지 학습 연구논문를 먼저 읽는다. greedy와 샘플링에서 수용 메커니즘이 어떻게 다른지, EAL·WTV가 왜 그런 꼴인지가 잘 정리돼 있다. 이어 TVP논문로 '수용 확률 = 1 − TV'라는 관계와 뒤 위치 신호가 약해지는 문제를 확인한다. 이론적으로 가장 엄밀한 형태는 REAL논문에서 볼 수 있다.

On-policy 데이터 쪽은 Draft-OPD논문가 출발점이다. Draft가 혼자 Rollout하기 어렵다는 현실적 문제와 그 해법이 구체적이다. 서비스 중 적응에 관심이 있으면 Test-Time Speculation논문을, 수용·거절 기록을 선호 학습에 쓰는 방식은 RCSD논문를 본다. 트리 디코딩과 학습을 맞추는 문제는 GTO논문가 다룬다.

블록 디퓨전 같은 병렬 드래프터를 쓴다면 MDraft논문로 블록 안 불일치 문제를 이해하고, DStill논문로 다단계 정제를 한 단계로 Distill하는 법을 본 뒤, 대규모 학습 파이프라인 관점에서 SpecOPD논문를 읽는 순서를 권한다.

관련 용어

추측 디코딩 Distillation SpecOPD SFT 강화학습 디퓨전 모델 자기회귀 모델 처리량(토큰/초)

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.