AI 용어집 · 기초 · 효율·인프라 · MLOps·LLMOps
TTFT 첫 토큰까지 걸리는 시간
TTFT(Time To First Token)는 사용자가 요청을 보낸 뒤 AI가 답의 첫 토큰(글자 조각)을 내놓기까지 걸리는 시간이다. 챗봇이 '반응이 빠르다'고 느끼게 하는 핵심 지표다.
용어 정보
- 난이도
- 기초 · 소식을 읽을 때 자주 만나는 기술 용어
- 카테고리
- 인프라·모델 활용
- 추가
- 2026-10-12
어떻게 작동하나
LLM의 응답은 두 단계로 나뉜다. 먼저 입력 프롬프트 전체를 한 번에 읽어 KV 캐시를 만드는 prefill 단계가 있고, 그다음 토큰을 하나씩 만드는 decode 단계가 이어진다. TTFT는 서버 대기열에서 기다린 시간, 네트워크 시간, prefill 시간을 합친 값이다. 그래서 프롬프트가 길수록, 서버가 붐빌수록 TTFT가 늘어난다.
어디서 보고 어떻게 감을 잡나
추론 엔진 벤치마크 결과, LLM API 비교 사이트, LLM 관측 가능성 도구의 대시보드에서 TTFT를 본다. 보통 초나 밀리초 단위로 나오며, 평균보다 p50·p95·p99 같은 백분위(느린 요청 쪽 기준)로 보는 것이 실무 감각에 맞다. 함께 보는 지표로 출력 토큰 하나당 시간(TPOT)과 전체 응답 시간이 있다. 대략 '전체 응답 시간 ≈ TTFT + 출력 토큰 수 × 토큰 하나당 시간'으로 생각하면 된다.
알아 둘 점
추론 모델은 화면에 보이는 답보다 먼저 생각 토큰을 오래 만들 수 있어서, 사용자가 실제로 기다리는 시간이 TTFT 수치보다 길게 느껴질 수 있다. RAG처럼 긴 문서를 프롬프트에 붙이면 prefill이 길어져 TTFT가 늘어나므로, 프롬프트 캐싱이 큰 도움이 된다. 처리량을 높이려고 배치를 크게 잡으면 TTFT가 나빠질 수 있어 둘 사이 균형을 맞춰야 한다. 스트리밍을 켜지 않으면 TTFT가 아무리 짧아도 사용자는 답이 다 끝날 때까지 빈 화면을 본다.
예시
고객 상담 챗봇에 쓸 모델을 고르는 팀이 후보 API 두 개를 비교한다고 하자. 팀은 평균 TTFT가 아니라 실제 상담 프롬프트 길이로 잰 p95 TTFT를 비교하고, 긴 시스템 프롬프트가 매번 붙는다면 프롬프트 캐싱을 지원하는 쪽에 점수를 더 준다. 자체 서버로 돌린다면 추론 엔진의 동시 처리 요청 수를 조정하면서 TTFT가 목표를 넘지 않는지 함께 확인한다.