vLLM v0.31.0 发布,重点优化 DeepSeek-V4.1-Flash 推理性能
发布 2026年10月6日
已核实(事实)
vLLM v0.31.0 包含来自 307 名贡献者(其中 96 名为新贡献者)的 717 个提交。主要变更是 DeepSeek-V4.1-Flash 的性能改进:在 SM100 上默认启用使用 V4.1 NVFP4 压缩 KV 缓存的 FlashMLA mega attention。此外还加入了用于索引器的 DeepGEMM sparse MQA logits,以及将门控 GEMM 与专家选择合并的 Mega-Gate 等内核融合。
意义(解读)
在 Blackwell(SM100)环境中部署 DeepSeek 系列模型的团队,只需升级即可期待性能提升。资料中未给出实际提升幅度。
来源
- 官方 v0.31.0 vLLM
更多关于 vLLM
-
vLLM Semantic Router 团队开源可直接分析图像的多模态决策模型 Decision 3.0(报道)
vLLM Semantic Router 开发团队开源了多模态决策模型系列 Decision 3.0,不仅能处理文本和 JSON,还能直接分析图像。AI Times 在标题中称 Cloudflare 也一同发布了开源模型,但摘录中没有 Cloudflare 方面的具体内容。