← 주요 논문

논문 리뷰 · 2026년 11월 19일

Multi-Branch Transformer: 블록을 병렬 분기로 배치해 품질과 추론 속도를 함께 높이기

Multi-Branch Transformer

언어 모델효율·인프라 고급 추천 43 cs.LG

Transformer 중간 블록들을 독립적인 병렬 분기로 재배치하고 분기 간 KV 캐시를 공유해, 같은 연산량에서 품질과 디코딩 처리량을 함께 끌어올렸다.

문제

Transformer는 보통 블록을 넓히거나(너비) 더 쌓아서(깊이) 확장한다. 전체 블록을 병렬로 배치하는 '분기' 방향은 거의 연구되지 않았다.

방법

MBT는 공유된 앞쪽 층(prelude)을 지난 뒤 K개의 독립 파라미터 분기를 병렬로 실행한다. 분기 출력은 RMSNorm, concat, 선형 투영으로 합친 뒤 공유된 뒤쪽 층(coda)에 넘긴다. 같은 연산량에서 Wide-Shallow, Narrow-Deep, Balanced의 세 가지 배분을 비교했다. 같은 깊이의 분기 입력을 모아 KV 캐시 하나를 만드는 Joint-KV도 도입했다. nano-vLLM 기반 추론 엔진에는 분기 그룹핑과 head folding을 넣었다. 0.8B~2.1B MoE 규모 4단계(FineWeb-Edu, 약 200 TPP)에서 사전학습 실험을 했다.

결과

한계

실험 규모는 총 2.1B 파라미터(활성 약 0.4B)까지이고 데이터는 FineWeb-Edu 하나, 컨텍스트는 4,096 토큰이다. 더 큰 규모에서도 같은 경향이 유지되는지는 검증되지 않았다. 분기를 여러 장치에 나누면 깊이마다 all-reduce 동기화가 필요하다. MBT의 학습률은 설정 하나에서 튜닝한 값을 재사용했다.

의미

너비·깊이 외에 '병렬 분기'라는 새로운 확장 축을 제시한다. 같은 학습 예산에서 품질을 높이면서 긴 컨텍스트 서빙 비용(KV 캐시, 순차 단계 수)도 줄일 수 있다는 점에서 추론 비용에 민감한 모델 설계에 참고할 만하다.

핵심 용어

Prelude / Coda
MBT에서 분기 앞과 뒤에 있는 공유 층 묶음이다. Prelude 출력이 각 분기로 들어가고, 합쳐진 결과가 Coda로 간다.
Joint-KV
같은 깊이의 모든 분기 입력을 이어 붙여 KV 캐시 하나를 만들고, 쿼리는 분기별로 따로 두는 방식이다. 분기 영역의 KV 캐시가 1/K로 줄어든다.
Body compute
임베딩과 LM 헤드를 뺀 모델 본체의 학습 연산량이다. 이 논문에서 아키텍처 간 효율을 비교하는 기준이다.

원문

저자: Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, 외 · 게시 2026-11-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.