AI 용어집 · 기초 · 효율·인프라 · MLOps·LLMOps
처리량(토큰/초) Throughput, tokens per second
처리량(토큰/초)은 추론 서버가 1초에 만들어 내는 토큰 수로, 같은 장비로 얼마나 많은 일을 해낼 수 있는지 보여 주는 지표다. 서버 전체가 처리하는 양과 사용자 한 명이 느끼는 속도를 구분해서 봐야 한다.
용어 정보
- 난이도
- 기초 · 소식을 읽을 때 자주 만나는 기술 용어
- 카테고리
- 인프라·모델 활용
- 추가
- 2026-10-12
무엇을 재나
처리량은 보통 두 가지로 나온다. 서버 전체가 모든 요청을 합쳐 초당 만드는 토큰 수(시스템 처리량)와, 요청 하나가 초당 받는 출력 토큰 수(사용자별 속도)다. 동시 요청이 늘면 연속 배칭 덕분에 시스템 처리량은 오르지만, 사용자별 속도는 조금씩 떨어진다. 입력 토큰을 읽는 속도와 출력 토큰을 만드는 속도도 따로 재는 경우가 많은데, 입력은 한꺼번에 처리돼 빠르고 출력은 하나씩 만들어 느리기 때문이다.
동시 요청 수를 어디에 맞출까
- 실시간 챗봇
- TTFT 목표 안에서 최대
- 야간 배치 요약
어디서 보고 어떻게 감을 잡나
추론 엔진 벤치마크 결과, GPU 클라우드나 API 제공사의 모델 소개, LLM API 비교 사이트에서 tokens/s나 tok/s로 표기된다. 내 서비스에 필요한 장비를 어림하려면 '하루 처리할 토큰 수 ÷ GPU 한 대의 처리량 ≈ 필요한 GPU 시간'으로 계산한다. 이어서 'GPU 한 시간 비용 ÷ 그 시간에 만드는 토큰 수'로 토큰당 원가를 가늠해 토큰 과금 API 가격과 비교한다. 출력 토큰 생성은 주로 메모리 대역폭에 묶여 있어서, GPU 연산 성능(FLOPS)보다 메모리 대역폭이 체감 속도에 더 크게 작용하는 경우가 많다.
알아 둘 점
처리량 숫자는 동시 요청 수, 입력·출력 길이, 정밀도, 추론 엔진 설정에 따라 크게 달라지므로 조건이 다른 숫자끼리 비교하면 안 된다. 처리량만 높이려고 배치를 키우면 TTFT와 사용자별 속도가 나빠질 수 있다. 그래서 실무에서는 'TTFT가 목표 이하일 때 낼 수 있는 최대 처리량'처럼 조건을 걸고 잰다. 토크나이저가 다르면 같은 문장도 토큰 수가 달라서, 모델끼리 토큰/초를 그대로 비교하기도 어렵다.
예시
한 회사가 같은 모델로 두 가지 일을 한다고 하자. 밤사이 수만 건의 문서를 요약하는 배치 작업은 기다리는 사람이 없으니 동시 요청 수를 크게 잡아 시스템 처리량을 최대로 끌어올린다. 낮에 직원들이 쓰는 챗봇은 TTFT와 사용자별 속도를 먼저 맞춘 뒤, 그 조건에서 나오는 처리량으로 필요한 GPU 대수를 계산한다. 같은 GPU라도 용도에 따라 설정과 필요한 대수가 달라지는 것이다.