AI 术语表 · 基础 · MLOps 与 LLMOps · 效率与基础设施
模型服务
模型服务是指把训练完成的 AI 模型部署到服务器上并持续运行，接收应用或用户发来的请求、执行模型并返回结果。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-08
通俗解释 这就像完成了菜谱（训练好的模型）之后开一家餐厅，接受顾客点单并上菜。除了菜谱好吃，在订单集中涌入时能快速、不间断地出餐的后厨运营同样重要。
工作原理
服务系统从模型注册表等处加载模型，放入 GPU 等硬件的内存中。用户请求通过 API 进来后，服务器接收请求，把多个请求打包或安排顺序（批处理与调度），然后运行模型并返回推理结果。LLM 是按 Token 逐个生成回答的，因此常用流式方式，把已生成的部分立即发送出去。除了实时响应的方式，还有把积累的数据集中一次处理的批处理方式。
为什么重要
再好的模型，如果不提供服务，就无法在实际业务中使用。模型服务决定了响应速度、可同时处理的请求数量以及成本。尤其是 LLM 所需的 GPU 价格昂贵，用同样的 GPU 处理更多请求的技术直接关系到服务成本。因此，KV 缓存管理、量化、推测解码等优化技术在服务环节被大量使用。
注意事项
模型服务不是启动一次就结束的事。还需要根据请求量增减服务器数量的扩缩容、切换新模型时不中断服务的部署方式，以及故障监控。很多情况下运行在 Kubernetes 上，运行期间还要留意性能是否因数据漂移而下降。速度、成本和质量相互牵制，需要找到符合服务目的的平衡点。
示例
vLLM 是广泛用于 LLM 服务的开源引擎，本站也报道过“vLLM v0.31.0 发布……聚焦 DeepSeek-V4.1-Flash 推理性能优化”的消息。企业会用这类引擎把开放权重模型部署到自有 GPU 服务器上，以内部聊天机器人或 API 的形式提供，有时还会在前端设置 LLM 网关，管理发往多个模型的请求。
本站出现过的地方
- 简报 vLLM v0.31.0 发布……聚焦 DeepSeek-V4.1-Flash 推理性能优化 2026-10-07