AI 术语表 · 基础 · 效率与基础设施 · MLOps 与 LLMOps
推理引擎
推理引擎是一种运行软件，它把训练完成的 AI 模型加载到 GPU 上，使其能快速、高效地响应用户请求。服务器端常用 vLLM、SGLang、TensorRT-LLM，个人 PC 端常用 llama.cpp、Ollama 等。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 加入时间
- 2026-10-12
工作原理
推理引擎读取模型文件（权重）并加载到 GPU 显存中，收到请求后逐个生成 Token 并返回。在此过程中，它把多项技术整合在一起提供：同时处理多个用户请求的连续批处理、以块为单位管理 KV 缓存的分页注意力、快速注意力计算（FlashAttention）、运行量化模型、把模型拆分到多个 GPU 上等。它通常还会一并启动兼容 OpenAI 的 API 服务器，因此应用可以沿用熟悉的 API 调用方式。
推理引擎所处的位置
应用、服务聊天机器人、内部工具
API 服务器接收兼容 OpenAI 的请求
推理引擎批处理、KV 缓存、量化、并行化
模型权重safetensors、GGUF 文件
GPU实际计算与内存
在哪里会看到
Hugging Face 模型卡的用法、部署部分经常写有“用 vLLM 启动”之类的运行命令。云上的模型服务内部也运行着这类引擎。在运行命令或配置文件中，会遇到最大上下文长度、GPU 显存使用比例、张量并行大小、量化方式等选项。这些值在很大程度上决定了可同时服务的用户数和响应速度。
注意事项
要为多个用户提供服务，常见选择是 vLLM、SGLang、TensorRT-LLM 等服务器端引擎；只想在自己的笔记本上单独使用，则常选运行 GGUF 文件的 llama.cpp、Ollama 系列。即使是同一模型，TTFT 和吞吐量也会因引擎和配置不同而差异很大，因此查看性能数据时要确认是在什么引擎、什么配置下测得的。新发布的模型在引擎添加支持之前，可能无法运行或缺少部分功能。各引擎支持的 GPU 类型和量化格式也不同，选择时同样需要确认。
示例
如果一个开发内部文档聊天机器人的团队在 Hugging Face 上选定了 Instruct 模型，就会按模型卡上的说明，用一行 vLLM 命令启动兼容 OpenAI 的服务器，并调整最大上下文长度和 GPU 显存使用比例。而开发者如果只想在笔记本上试一试，则会下载同一模型的 GGUF 文件，用 Ollama 运行。本站资讯中也刊登过一条社区消息，称 Google AI Edge 开源了设备端 GPU 推理引擎“ML Drift”。像这样在手机、PC 上运行模型的引擎也在独立发展。
本站出现过的地方
- 论文 TokenRouter：面向 Token 级 LLM 路由的高效服务系统 2026-10-10
- 简报 Conway Research 推出不向外部发送数据的 PC 端 AI 助手“Underdog”邀请制测试版（报道） 2026-10-09
- 简报 Google AI Edge 开源设备端 GPU 推理引擎“ML Drift”（社区消息） 2026-10-09
- 论文 STEPQuant：Delta-rule 循环状态量化中，误差何时、何处重要 2026-10-09
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08