논문 리뷰 · 2026년 11월 19일
TeleChat에서 Xing4로: 중국산 칩·프레임워크(Ascend·MindSpore) 기반 에이전트 LLM 개발
TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks
Ascend NPU와 MindSpore에 맞춰 모델 구조, 사전학습 인프라, 에이전트 강화학습 플랫폼을 함께 설계해 285B MoE 모델을 8,192장 규모에서 학습했다.
문제
오픈소스 LLM은 대부분 GPU에서 학습된다. 중국산 칩(Ascend 910C)과 프레임워크(MindSpore)로 대규모 MoE 모델을 학습·서빙하려면 하드웨어 특성(강한 행렬 연산, 상대적으로 약한 Vector 연산과 HBM 대역폭)에 맞춘 구조와 시스템 설계가 필요하다. 에이전트 강화학습에서는 작업마다 실행 시간이 크게 달라 학습 효율도 떨어진다.
방법
구조 측면에서는 MLA에 DSA(희소 어텐션)와 층 간 인덱스를 재사용하는 IndexShare를 결합했다. 층 수를 줄이고 Expert를 넓힌 wider-shallower MoE를 쓰고, 블록 단위 draft 모델 기반 Speculative Decoding인 DSpark를 붙였다. 사전학습은 MindSpore HyperParallel 위에서 토폴로지 인식 하이브리드 샤딩(HSDP)으로 Pipeline 병렬화를 없앴고, Muon 옵티마이저 분산 실행, 긴 시퀀스 부하 균형, CPU affinity·코어 격리를 적용했다. 사후학습용으로는 에이전트 실행·평가·Trajectory 구성을 정책 최적화와 연결하는 TeleGym을 만들었고, 비동기 분리 실행, 제한된 오버샘플링, Partial Rollout을 넣었다.
결과
- 285B 모델 Attention 시뮬레이션(256K 컨텍스트, Ascend 910C 32장): MLA+DSA+IndexShare가 MLA 단독 대비 Prefill 처리량 4.68배, TTFT 0.21배, Decode 처리량 1.27배
- DSpark가 6개 수학·코드 벤치마크에서 기본 설정 대비 디코딩 처리량 2.67~3.77배, MTP3 대비 1.48~2.10배(최대 이득은 HumanEval)
- 45층 wider-shallower 구조가 60층 기준 구조 대비 Prefill 처리량 1.20배, Decode 처리량 1.11배를 냈고, 학습 처리량은 약 10% 높았다고 저자들은 보고했다
- Pipeline 병렬화를 없애 학습 처리량이 16.1% 올랐다. 285B 모델을 Ascend 910C 8,192장에서 사전학습했다
- 총 29B·활성 4B 파라미터 MoE 모델(Xing4.0-29B-A4B, 네이티브 256K 컨텍스트)을 공개했다
한계
Attention 비교는 Huawei 시뮬레이터 기반이다. 저자들도 실제 서빙 오버헤드를 모두 반영하지 못해 결과가 낙관적일 수 있다고 밝혔다. 제공된 본문 범위에서는 모델 품질(정확도) 비교가 거의 없고, 효율 수치도 대부분 정규화된 상대값이다. TeleGym의 효과도 정량 결과보다 설계 설명 위주다.
의미
GPU가 아닌 중국산 AI 칩 생태계에서도 수천 장 규모로 프런티어급 MoE를 학습할 수 있음을 구체적인 엔지니어링 선택과 함께 보여준다. 하드웨어 특성에 맞춰 모델 구조(깊이·너비, 어텐션)를 고르는 사례로 참고할 만하다.
핵심 용어
- DSA(DeepSeek Sparse Attention)
- 쿼리마다 경량 인덱서로 상위 K개의 과거 KV만 골라 어텐션하는 희소 어텐션이다. 긴 컨텍스트에서 KV 접근량을 줄인다.
- Speculative Decoding
- 작은 draft 모델이 여러 토큰을 먼저 제안하고, 본 모델이 한 번에 검증해 맞는 앞부분을 채택한다. 디코딩 속도를 높이는 기법이다.
- HSDP(Hybrid Sharded Data Parallelism)
- FSDP를 확장해 클러스터 대역폭 계층에 맞춰 모델 상태를 나눠 저장하는 방식이다. 이 논문에서는 Pipeline 단계 없이 학습할 수 있게 해 줬다.
- Partial Rollout
- 정책이 업데이트될 때 끝나지 않은 Rollout을 버리지 않고 이어서 진행하는 방식이다. 실행 시간이 제각각인 에이전트 작업에서 낭비를 줄인다.
원문
저자: Xingchen AGI Lab, :, Baotian Hu, Bingkai Yang, Boyang Wang, Changzai Pan, Chao Lyu, Chao Wang, 외 · 게시 2026-11-17 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.