AI 术语表 · 进阶 · 效率与基础设施
连续批处理
连续批处理是一种模型服务技术：把多个用户请求打包在 GPU 上一起处理，已完成的请求立即移出，等待中的请求立即补入，使 GPU 不会闲置。
工作原理
LLM 逐个词元生成回答，而每个请求的回答长度各不相同。以前的方式（静态批处理）要等到一批请求中最长的回答完成后才接收新请求，即使提前完成的请求已经空出了位置。连续批处理在每生成一次词元后都会重新组批。已完成的请求立即返回结果，等待中的请求填补空位。因此它也被称为迭代（iteration）级调度。
静态批处理 vs 连续批处理
静态批处理按批次替换
- 等待最长的回答完成
- 已完成的位置保持空闲
- 新请求要等到下一批
连续批处理按词元替换
- 已完成的请求立即移出
- 等待中的请求立即加入
- GPU 空闲时间少
공통 两者都是把多个请求放在一起计算，以高效利用 GPU 的方法
为什么重要
GPU 的空闲时间减少，同样的 GPU 可以服务多得多的用户。吞吐量提高后，生成每个词元的成本也随之下降。新请求无需等待前一批完成，因此 TTFT 通常也会改善。正因如此，vLLM、SGLang、TensorRT-LLM 等主流推理引擎都默认采用它。
注意事项
一般很少需要手动开启或关闭它，通常是在推理引擎配置中以“同时处理的最大请求数”或“最大批次词元数”等参数的形式遇到。把这些值设得较大，服务器整体吞吐量会提高，但单个用户感受到的词元生成速度可能变慢。同时处理的请求越多，所需的 KV 缓存内存也越多，因此它常与分页注意力（PagedAttention）等内存管理技术搭配使用。当有非常长的提示词进入时，其他请求的生成可能会被短暂推迟，因此还会配合使用 chunked prefill 等补充手段，把长输入切块处理。
示例
假设一个运营客服聊天机器人的团队收到投诉，说每到午餐时间响应就会积压。团队在 vLLM 配置中逐步调高同时处理的最大请求数，同时测量服务器吞吐量、每个用户的响应速度和 TTFT。当发现吞吐量虽在增加、但单个用户感受到的速度已低于目标时，就取这个点之前的值，剩余的需求则通过再增加一台 GPU 来解决。
本站出现过的地方
- 论文 TokenRouter：面向词元级 LLM 路由的高效服务系统 2026-10-10