论文解读 · 2026年10月10日
TokenRouter：面向 token 级 LLM 路由的高效服务系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
构建了一个结合以请求为中心的编程、按模型异步执行和延迟批处理的服务系统，使 token 级路由的解码吞吐量比现有实现提高 2.01~64.15 倍。
问题
为每个 token 切换处理模型的 token 级路由，已有报告显示其在算法层面具有成本和质量优势。但 SGLang、vLLM 等现有服务系统以单个 LLM 为前提，因此会出现模型间步调不同步、批次进入延迟和实现复杂度高等问题。
方法
开发者只需用 route、send、receive 三个函数描述单个请求在模型之间往返的流程，运行时则为每个模型启动子服务器并异步执行。在原有两个循环之外加入模型间循环，形成 tri-loop 结构，并通过使用 pending 状态的 handoff-resume 降低模型切换成本。每个子服务器使用延迟批处理调度器，当同一模型的请求累积到阈值 B 时开始批处理，B 的最优值由基于离散时间马尔可夫链的吞吐量模型求得。系统构建在 SGLang 之上。
结果
- 作者报告称，在 CITER、R2R、R-Stitch、Co-LLM、ME 五种路由算法及多种工作负载与模型组合下，解码吞吐量比现有系统高 2.01~64.15 倍。
- 在并发请求数为 8 时，相比 R2R 官方实现，仅靠工程优化就使吞吐量提升 1.71 倍，完整的 TokenRouter 则提升 2.76 倍。
- 在更严格的 SLO 条件下，吞吐量比 R2R 高 18.58 倍。
- 主要实验使用 Qwen3-0.6B 与 Qwen3-32B 的组合（ME 额外加入 Qwen3-8B）。
局限
所提供的正文被截断，未能确认详细实验结果及对质量的影响。评估模型仅限于 Qwen3 系列组合。延迟批处理可能增加先到请求的等待时间，吞吐量与单个请求延迟之间的权衡可能随工作负载而变化。
意义
token 级路由可以让小模型处理大部分内容，只把困难的 token 交给大模型，从而降低成本。但如果实际服务速度跟不上就无法使用，这项研究处理的正是系统层面的瓶颈。它还提供了可直接替代单个 LLM 服务器的接口。
关键术语
- token 级路由
- 在生成回答的过程中，为每个 token 决定由哪个模型生成下一个 token 的方式。比查询级路由能更精细地调控成本与质量。
- 步调不同步（Step Desynchronization）
- 各模型单步解码的延迟不同，若合并为一个批次，快的模型就要停下来等待最慢的模型的问题。
- 延迟批处理（Delayed Batching）
- 一种调度方式：先短暂等待，直到发往同一模型的请求累积到一定数量再一起执行，以降低平均批次进入延迟。
原文
作者: Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang · 发布 2026-10-08 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。