AI 术语表 · 基础 · 效率与基础设施 · MLOps 与 LLMOps
吞吐量（token/秒）
吞吐量（token/秒）是推理服务器每秒生成的 token 数，用来衡量同样的设备能完成多少工作。需要区分服务器整体的处理量和单个用户感受到的速度。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-12
衡量什么
吞吐量通常有两种：服务器把所有请求加在一起每秒生成的 token 数（系统吞吐量），以及单个请求每秒收到的输出 token 数（每用户速度）。并发请求增加时，得益于连续批处理，系统吞吐量会上升，但每用户速度会逐渐下降。读取输入 token 的速度和生成输出 token 的速度也常常分开测量，因为输入是一次性处理的，速度快；输出则是逐个生成的，速度慢。
并发请求数该定在哪里
- 实时聊天机器人
- 在 TTFT 目标内取最大
- 夜间批量摘要
在哪里看、如何建立直觉
在推理引擎基准测试结果、GPU 云或 API 提供商的模型介绍、LLM API 比较网站上，它通常写作 tokens/s 或 tok/s。要粗略估算自己的服务需要多少设备，可以用“每天要处理的 token 数 ÷ 单块 GPU 的吞吐量 ≈ 所需 GPU 时长”来计算。接着用“GPU 每小时成本 ÷ 这段时间生成的 token 数”估算每个 token 的成本，再与按 token 计费的 API 价格比较。输出 token 的生成主要受限于内存带宽，因此对体感速度影响更大的往往是内存带宽，而不是 GPU 算力（FLOPS）。
注意事项
吞吐量数字会因并发请求数、输入·输出长度、精度和推理引擎设置而有很大差异，因此不能把条件不同的数字放在一起比较。只为提高吞吐量而加大批次，可能会使 TTFT 和每用户速度变差。所以实践中会附加条件来测量，例如“TTFT 低于目标时能达到的最大吞吐量”。分词器不同，同一句话的 token 数也不同，因此也很难直接比较不同模型的 token/秒。
示例
假设一家公司用同一个模型做两件事。夜间对数万份文档做摘要的批处理任务没有人在等待，因此把并发请求数设得很大，把系统吞吐量拉到最高。白天员工使用的聊天机器人则先满足 TTFT 和每用户速度的要求，再用该条件下得到的吞吐量计算所需的 GPU 数量。即使是同样的 GPU，设置和所需数量也会因用途而不同。