AI 术语表 · 基础 · 效率与基础设施 · MLOps 与 LLMOps
TTFT
TTFT（Time To First Token，首 token 时间）是指用户发出请求后，AI 输出回答的第一个 token（文字片段）所需的时间。它是让人感觉聊天机器人“反应快”的关键指标。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-12
工作原理
LLM 的响应分为两个阶段。先是一次性读取整个输入提示词并构建 KV 缓存的 prefill 阶段，随后是逐个生成 token 的 decode 阶段。TTFT 是服务器队列中的等待时间、网络时间和 prefill 时间之和。因此，提示词越长、服务器越繁忙，TTFT 就越长。
在哪里看到、如何建立直观感受
可以在推理引擎基准测试结果、LLM API 对比网站以及 LLM 可观测性工具的仪表盘中看到 TTFT。它通常以秒或毫秒为单位，与平均值相比，看 p50、p95、p99 等百分位数（以较慢请求为基准）更符合实际工作的需要。一起查看的指标还有每个输出 token 的时间（TPOT）和总响应时间。可以大致理解为“总响应时间 ≈ TTFT + 输出 token 数 × 每个 token 的时间”。
注意事项
推理模型可能在屏幕上显示答案之前先长时间生成思考 token，因此用户实际等待的时间可能感觉比 TTFT 数值更长。像 RAG 那样在提示词中附加长文档会拉长 prefill，导致 TTFT 增加，此时提示词缓存很有帮助。为提高吞吐量而增大批次可能会使 TTFT 变差，因此需要在两者之间取得平衡。如果不开启流式输出，无论 TTFT 多短，用户在回答全部完成之前看到的都是空白屏幕。
示例
假设一个团队要为客服聊天机器人选择模型，正在比较两个候选 API。团队比较的不是平均 TTFT，而是用实际客服提示词长度测得的 p95 TTFT；如果每次都要附带很长的系统提示词，就会给支持提示词缓存的一方加分。如果在自有服务器上运行，则在调整推理引擎并发请求数的同时，确认 TTFT 没有超出目标值。