논문 리뷰 · 2026년 11월 19일
Multi-Branch Transformer: 블록을 병렬 분기로 배치해 품질과 추론 속도를 함께 높이기
Multi-Branch Transformer
Transformer 중간 블록들을 독립적인 병렬 분기로 재배치하고 분기 간 KV 캐시를 공유해, 같은 연산량에서 품질과 디코딩 처리량을 함께 끌어올렸다.
문제
Transformer는 보통 블록을 넓히거나(너비) 더 쌓아서(깊이) 확장한다. 전체 블록을 병렬로 배치하는 '분기' 방향은 거의 연구되지 않았다.
방법
MBT는 공유된 앞쪽 층(prelude)을 지난 뒤 K개의 독립 파라미터 분기를 병렬로 실행한다. 분기 출력은 RMSNorm, concat, 선형 투영으로 합친 뒤 공유된 뒤쪽 층(coda)에 넘긴다. 같은 연산량에서 Wide-Shallow, Narrow-Deep, Balanced의 세 가지 배분을 비교했다. 같은 깊이의 분기 입력을 모아 KV 캐시 하나를 만드는 Joint-KV도 도입했다. nano-vLLM 기반 추론 엔진에는 분기 그룹핑과 head folding을 넣었다. 0.8B~2.1B MoE 규모 4단계(FineWeb-Edu, 약 200 TPP)에서 사전학습 실험을 했다.
결과
- 2분기 Wide-Shallow MBT는 블록의 약 1/3을 분기에 배치할 때 4개 규모 모두에서 검증 손실이 Standard보다 0.025~0.031 낮았고, 약 1.23배의 body compute 이점에 해당했다
- W1~W4 평균 9개 zero-shot 벤치마크 평균 정확도가 54.23%에서 56.03%로 올랐다(9개 모두 Standard보다 높음)
- Joint-KV를 적용한 2·3·4분기 MBT는 Standard 대비 1.16~1.26배의 학습 body compute에 해당하는 성능을 냈고, KV 캐시는 19~34% 줄었다
- 단일 H200(64K 입력, 동시 요청 8개)에서 Standard 대비 디코딩 처리량이 최대 51.4% 높았다
한계
실험 규모는 총 2.1B 파라미터(활성 약 0.4B)까지이고 데이터는 FineWeb-Edu 하나, 컨텍스트는 4,096 토큰이다. 더 큰 규모에서도 같은 경향이 유지되는지는 검증되지 않았다. 분기를 여러 장치에 나누면 깊이마다 all-reduce 동기화가 필요하다. MBT의 학습률은 설정 하나에서 튜닝한 값을 재사용했다.
의미
너비·깊이 외에 '병렬 분기'라는 새로운 확장 축을 제시한다. 같은 학습 예산에서 품질을 높이면서 긴 컨텍스트 서빙 비용(KV 캐시, 순차 단계 수)도 줄일 수 있다는 점에서 추론 비용에 민감한 모델 설계에 참고할 만하다.
핵심 용어
- Prelude / Coda
- MBT에서 분기 앞과 뒤에 있는 공유 층 묶음이다. Prelude 출력이 각 분기로 들어가고, 합쳐진 결과가 Coda로 간다.
- Joint-KV
- 같은 깊이의 모든 분기 입력을 이어 붙여 KV 캐시 하나를 만들고, 쿼리는 분기별로 따로 두는 방식이다. 분기 영역의 KV 캐시가 1/K로 줄어든다.
- Body compute
- 임베딩과 LM 헤드를 뺀 모델 본체의 학습 연산량이다. 이 논문에서 아키텍처 간 효율을 비교하는 기준이다.
원문
저자: Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, 외 · 게시 2026-11-15 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.