← 주요 논문

논문 리뷰 · 2026년 11월 19일

AscendGYM: 실제 워크로드 기반 Ascend NPU 커널 최적화 벤치마크(비용 고려)

AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Real-World Workloads on Ascend NPUs

데이터·평가효율·인프라에이전트 고급 추천 91 cs.AI SLAI-AITP

실제 학습·추론 워크로드에서 뽑은 48개 Ascend 커널과 토큰 비용을 반영한 지표 STS를 만들어, 에이전트의 기존 커널 최적화 능력을 측정했다.

문제

기존 Ascend 커널 벤치마크는 커널을 새로 생성하는 능력에 집중한다. 실제 워크로드의 입력 형태에서 이미 있는 구현을 더 빠르게 만드는 능력은 잘 평가하지 못한다. 최종 속도 향상만 보면 그 결과를 얻는 데 든 탐색 비용도 드러나지 않는다.

방법

MindSpeed-LLM, vLLM-Ascend 같은 실제 워크로드를 프로파일링해 병목 커널을 골랐다. 데이터 타입·텐서 형태·실행 맥락을 보존한 테스트 케이스를 붙여 3단계 난이도의 48개 과제를 구성했다. SandboxFusion 기반 실행 샌드박스 AscendForge가 컴파일, 정확성 검사, 성능 측정, 피드백을 맡는다. 평가 모드는 두 가지다. 기본 하네스(AuraKernel)로 모델만 비교하는 모드와, Claude Code·Codex 같은 모델-하네스 조합 전체를 평가하는 모드다. 지표로는 최종 속도 향상에서 늦게 얻은 개선에 벌점을 주는 STS, CTG, GM Speedup, fast_p, 통과율을 제안했다.

결과

한계

이번 보고서는 가장 쉬운 Batch 1(17개)만 평가했고, Batch 2·3 결과는 이후로 미뤘다. Ascend NPU 전용이다. STS의 가중치(100, 50)는 설계상 선택이라 다른 가중치에서 순위가 얼마나 안정적인지는 제공된 본문에서 확인되지 않는다.

의미

코딩 에이전트로 커널을 최적화하려는 팀에게 '얼마나 빨라졌나'와 '그걸 얻는 데 토큰이 얼마나 들었나'를 함께 보는 평가 틀을 준다. 실제 워크로드 형태를 쓰기 때문에 벤치마크에서 얻은 향상이 서비스 성능으로 이어지기 쉽다.

핵심 용어

커널(Kernel) 최적화
NPU·GPU에서 실제 연산을 수행하는 저수준 코드를 고쳐 지연 시간을 줄이는 작업이다. LLM 학습·추론 효율에 직접 영향을 준다.
STS(Speedup–Token Score)
최종 속도 향상(log2)에 보상을 주고, 토큰 예산 후반에 얻은 개선일수록 벌점을 주는 지표다. 같은 속도 향상이면 더 빨리 찾은 쪽이 높은 점수를 받는다.
하네스(Harness)
LLM을 감싸 도구 호출, 탐색 전략, 경험 누적 등을 관리하는 에이전트 실행 틀이다. Claude Code, Codex 등이 예다.

원문

저자: AI Training Platform Team, Bingwei Zhang, Jing Li, Amir Abdullin, Sihang Chen, Xin Chen, Liangjun Feng, Yingmeng Gao, 외 · 게시 2026-11-13 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.