HKUST·CMU·岩山科技, KV 캐시를 99% 줄인 모델 오픈소스 공개…"GPU 한 장 처리량 6배, 긴 추론 512개 동시 실행"(보도)

확인된 내용 (사실)

量子位 보도에 따르면 홍콩과기대(HKUST)와 카네기멜런대(CMU)가 중국 岩山科技와 함께 새 모델을 오픈소스로 공개했다. 보도 제목은 KV 캐시를 99% 줄여 GPU 한 장의 처리량이 6배로 늘었고, GPU 한 장에서 긴 추론 요청 512개를 동시에 처리할 수 있다고 전했다. 구조, 모델 크기, 비교 기준이 된 모델은 발췌에 나오지 않는다.

팩트체크 필요 (주장)

KV 캐시 99% 감소, 단일 GPU 처리량 6배라는 수치는 보도 제목에 나온 것이다. 측정 조건은 확인되지 않았다.

의미 (해석)

긴 추론과 에이전트 작업에서는 KV 캐시가 메모리를 가장 많이 차지한다. 이 수치가 비교 조건과 함께 재현된다면 GPU 한 장으로 받을 수 있는 동시 요청이 크게 늘어 서빙 비용이 내려간다. 다만 정확도를 얼마나 잃는지는 원문을 봐야 판단할 수 있다.

출처

• 보도 KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型 量子位

HKUST 관련 다른 소식

• 2026-11-03 P2 연구 논문 에이전트언어 모델데이터 엔지니어링 HKUSTDeepSeek
  HKUST 'HarnessSQL', DeepSeek Harness 안에서 학습한 8B 모델로 Spider 2.0-SQLite 15.5%→45.2%…32B 기준 모델 앞서(보도)

  Pandaily 보도에 따르면 홍콩과기대(HKUST) 연구진이 Text-to-SQL 에이전트 'HarnessSQL'을 내놨다. 소형 모델을 DeepSeek Harness 환경 안에서 학습시키는 방식이며, 8B 모델의 Spider...