TAO: LLM 에이전트 서빙을 위한 도구 인지 공동 스케줄링

문제

에이전트 세션은 GPU 클러스터에서의 LLM 추론과 분산 CPU에서의 외부 도구 실행(컴파일러, 검색 등)을 번갈아 수행한다. 기존 서빙 시스템은 세션 가치를 평가할 때 도구가 언제 끝날지를 고려하지 않아 자원을 낭비한다. 또 세션별 휴리스틱 규칙으로 승인과 노드 배치를 결정하므로, 같은 노드 용량을 두고 경쟁하는 세션들 사이에서 근시안적인 선택을 하게 된다.

방법

도구 호출 중인 세션은 GPU 자원을 반납하고 대기 풀에 들어간다. 각 세션–노드 쌍에 (반감기 10초로 감쇠한 KV 캐시 크레딧, 1초 안에 도구가 돌아올지를 나타내는 이진 준비도, 토큰 수) 삼중항 값을 매긴다. 준비도는 도구 진행 힌트, sleep 명령 파싱, 과거 도구 실행 시간을 바탕으로 추정한다. 이 값을 사전식(lexicographic)으로 최대화하는 다중 배낭 문제를 용량 상태 동적 계획법으로 정확히 풀어, 대기 세션 선택과 노드 배치를 동시에 결정한다. 계획 수립은 비동기 워커에서 수행하고, 적용 직전에 실시간 상태와 대조해 검증한다.

결과

• 12개 모델·워크로드·동시성 설정에서, 지표별 최고 기준선(Dynamo, vLLM RR/CA, ThunderAgent) 대비 지연을 최대 26.8%, 평균 TTFT를 최대 36.3% 줄이고 decode 처리량을 최대 29.5% 높였다.
• 최대 개선은 DeepSeek-V4 Flash(H100 4장 노드 2개), SWE-Lite, 64 workers 설정에서 나왔다(지연 185.4초 vs 기준선 최고 253.2초).
• Terminal-Bench에서는 TTFT가 16~22% 개선됐지만, decode 처리량은 16·64 workers에서 기준선보다 각각 8.8%, 6.2% 낮았다.
• 계획 준비와 풀이에 드는 시간은 4-replica 실험 전체 런타임의 0.12% 미만이었다.

한계

모든 설정에서 우위인 것은 아니다. Qwen3-32B SWE-verified 128 workers에서는 지연이 2.5% 나빴고, 일부 설정에서는 decode 처리량이 기준선보다 낮았다. 실험 규모는 H100 8장 수준의 소규모 클러스터와 SWE·Terminal 계열 코딩 에이전트 워크로드에 한정된다. 동적 계획법은 용량을 이산화하므로 반올림 과정에서 실제로는 가능한 배치가 제외될 수 있다. 반감기와 시간 창 같은 파라미터는 고정값을 사용했다.

의미

코딩 에이전트처럼 도구 호출이 잦은 서비스에서는 GPU가 도구 대기로 놀거나 캐시가 낭비되기 쉽다. 이 논문은 스케줄러가 도구 실행 시점을 신호로 쓰면 같은 하드웨어로 지연과 처리량을 개선할 수 있음을 보여준다.

핵심 용어

CGDC(Clustered GPUs with Distributed CPUs)

추론은 GPU 클러스터에서, 도구 실행은 외부 분산 CPU에서 일어나는 에이전트 서빙 구조를 저자들이 부른 이름이다.

KV 캐시 재사용

이전 턴에서 계산한 KV 캐시를 다음 요청에 다시 써서 prefill 계산을 건너뛰는 방식이다. 같은 노드에 배치해야 효과가 있다.

TTFT(Time To First Token)

요청 후 첫 토큰이 나오기까지 걸리는 시간으로, 응답 체감 속도를 나타내는 대표 지표다.

다중 배낭 문제(Multiple Knapsack)

용량이 정해진 여러 가방에 가치 합이 최대가 되도록 물건을 나눠 담는 조합 최적화 문제다. 여기서는 노드가 가방, 세션이 물건에 해당한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin · 게시 2026-10-27 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.