vLLM

简介

vLLM 是用于 LLM 推理和服务部署的库，起源于 UC Berkeley Sky Computing Lab，由多家学术机构和企业贡献者共同维护。它支持 Hugging Face 上的多种模型架构。

它通过 PagedAttention 高效管理注意力键值内存，并通过 Continuous batching 将传入请求合并处理。具备前缀缓存、多种量化格式、Speculative decoding，以及张量并行、流水线并行、专家并行等分布式推理功能。它提供 OpenAI 兼容 API 服务器和 Anthropic Messages API，并支持 NVIDIA、AMD、Intel GPU、多种 CPU 以及硬件插件。

适合希望在自有基础设施上将开放模型部署为服务的开发者和 ML 工程师。

用途

• 将开放模型部署为 OpenAI 兼容 API 服务器并对外提供服务。
• 以较少内存部署量化后的模型。
• 将模型拆分到多块 GPU 上进行分布式推理。
• 构建需要结构化输出、工具调用和多 LoRA 服务部署的应用。

价格与许可

请查看官方网站

快速上手

1. 使用 uv pip install vllm 安装（也可使用 pip）。
2. 使用 vllm download-kernels 下载预编译内核，以加快启动速度。
3. 按照官方文档中的 Quickstart Guide 运行模型。

链接

官方网站 ↗代码仓库 ↗

相关术语与企业

模型服务 推理引擎 分页注意力 连续批处理 量化 推测解码 vLLM

近期简报提及

• vLLM Semantic Router 团队开源可直接分析图像的多模态决策模型 Decision 3.0（报道） 2026-10-14
• vLLM v0.31.0 发布，重点优化 DeepSeek-V4.1-Flash 推理性能 2026-10-07

来源

• vllm-project/vllm README
• vLLM

根据公开资料（官方页面、README）整理。价格和功能可能变化，请以官方网站为准。