← 专题深读

专题深读 · 2026-11-14 · 进阶 · 作者 bombong

MoE 专家卸载:在 GPU 之外运行超大模型

MoE 模型每个 token 只使用部分专家,但所有专家的权重都必须放在某处。专家卸载把专家放在 CPU 内存或 SSD 上,只在需要时搬到 GPU,从而用有限的显存运行超大模型。关键在于如何隐藏 PCIe 传输的等待时间。

目录
要点
  • MoE 节省了计算,却没有节省内存。专家卸载正是利用这一差距,把不用的专家放在 GPU 之外。
  • 瓶颈在于 PCIe 传输。需要哪个专家要等路由器算完才知道,因此传输位于计算的等待路径上。
  • 解决方法可分为三个调节旋钮:在 GPU 上保留什么(常驻·缓存)、何时提前取(预测·预取)、在哪里计算(GPU·CPU 分工)。
  • 预取并非总是有益。有研究指出,存在 GPU 缓存时预测会变得不准确,可能浪费带宽,因此出现了以请求调度作为替代的方案。
  • 最佳策略取决于模型稀疏度、CPU·GPU 性能、显存和带宽。不能把别人的基准测试数值直接套用到自己的环境中。

为什么需要:计算减少了,内存却没变

MoE(混合专家)是在模型内部设置多个小型神经网络,即“专家”,并由路由器(选择使用哪些专家的小型判定器)为每个 token 只挑选其中几个进行计算的结构。处理一个 token 时实际使用的激活参数只占全部参数的一部分,因此可以用相同的计算量构建更大的模型。问题在于“事先不知道会选中哪个专家”。因此,连可能用不到的专家也必须全部加载到内存中。

结果是,MoE 模型很容易超出单张加速器的内存。Specterpaper 的出发点就是 MoE 模型经常超出单个加速器的内存容量这一问题。AdaOffloadpaper 指出,MoE 推理受限于 GPU 内存,尽管计算是稀疏的,要服务不断变大的前沿模型仍需要更多 GPU。对于消费级 GPU 或边缘设备,情况更加紧张。SMoEpaper 和 OD-MoEpaper 直接面向设备内存较小的边缘和低成本硬件。

专家卸载正是利用了这一空隙。它把专家权重放在 CPU 侧内存(主机 DRAM)中,只把常用的一部分缓存在 GPU 内存(显存)中。所需专家不在 GPU 上时再去取。OD-MoEpaper 将现有卸载方式概括为:把专家参数存放在 CPU 内存中,并把热门的一部分缓存在 GPU 内存中。代价也很明确。据 Specterpaper,把专家下放到主机内存会造成严重的 PCIe(连接 CPU 与 GPU 的数据通道)I/O 瓶颈。由于路由由数据决定,传输仍然直接位于计算的等待路径上。

核心思想:狭窄的操作台与宽敞的仓库

用厨房来比喻更容易理解。GPU 是厨师面前狭窄的操作台,CPU 内存是走廊尽头宽敞的仓库,SSD 则是更远的地下仓库。做菜(token 计算)在操作台上最快,但操作台上只能放几样食材。订单(token)进来后,订单单据(路由器)会告知需要哪些食材(专家),如果操作台上没有,就得跑一趟仓库。

在这个比喻中,改进方法大致分三类。第一,把常用食材留在操作台上(常驻·缓存)。第二,提前猜测下一份订单,先把食材拿过来(预测·预取)。第三,不搬到操作台,而是在仓库旁的小灶台,即 CPU 上直接处理(CPU 计算分担)。大多数卸载研究讨论的都是如何组合这三个旋钮。

这一设计所做的取舍也体现在比喻中:不扩大操作台(不买更多 GPU),而是承受往返时间。因此,目标不是消除往返,而是让厨师在往返期间不闲着。通过让传输与计算重叠来隐藏等待时间,是几乎所有系统的共同策略。

如何运作:一层中发生了什么

按步骤看经过一个 MoE 层时的流程:首先,路由器为每个 token 选出要使用的专家。若选中的专家在 GPU 缓存中(缓存命中),就直接在 GPU 上计算。若不在(缓存未命中),则二选一:通过 PCIe 将权重从 CPU 内存搬到 GPU 后再计算,或者不搬权重、直接在 CPU 上计算该专家。如果整个专家池放在 SSD 上,还要多一步从 SSD 读到 DRAM。PagedMoEpaper 研究的就是这种 SSD 常驻配置。

在此之上还叠加了“提前做”。在计算当前层的同时预测后续层要用的专家并提前搬运,传输时间就能隐藏在计算之后。OLED-MoEpaper 总结指出,现有 MoE 服务系统依赖的正是这种在计算一层时预测并加载下一层专家的方式。预测正确则等待消失;预测错误则无用的传输会占用带宽和 GPU 内存。

COPEpaper 将这一设计空间分为两个相互独立的轴:一个是专家常驻(哪些专家放在哪里),另一个是 MoE 执行策略(在哪里、如何计算)。下面的结构图以一层为单位画出了这两个轴和预测路径。在实践中审视卸载引擎时,按“保留什么、何时取、在哪里算”这三个问题拆开来看,结构会很清楚。

性能通常用两个指标衡量。TPOT(生成一个输出 token 所需的时间)是单个用户感受到的速度;吞吐量(token/秒)是将多个请求批量处理时整个系统的产出。目标指标不同,好的设计也不同。

单个 MoE 层中的卸载流程token → 路由器; 路由器 → GPU 缓存(命中); GPU 缓存 → GPU 计算; CPU 内存 → GPU 缓存(PCIe 传输); CPU 内存 → CPU 计算(CPU 执行); SSD → CPU 内存(读取); 路由器 → 预测·预取; 预测·预取 → CPU 内存(提前请求); GPU 计算 → 进入下一层; CPU 计算 → 进入下一层token路由器选择专家GPU 缓存显存·常用专家GPU 计算预测·预取下一层专家CPU 内存主机 DRAMCPU 计算不搬运直接处理SSD专家池(可选)进入下一层命中PCIe 传输CPU 执行读取提前请求
单个 MoE 层中的卸载流程 路由器选中的专家如果在 GPU 缓存中就直接计算;如果不在,则从 CPU 内存搬过来,或在 CPU 上计算。虚线表示提前预测并取回下一层专家的可选流程。

发展脉络:预测、替代、调度、扩展

作为起点的论文都是 2025~2026 年的研究,因此这里梳理的是这些论文之间出现了哪些新东西。第一条路线是“预测得更远、更准”。SP-MoEpaper 称自己首次将推测解码(由小型 draft 模型先写出多个 token,再由大模型一次性验证的方式)与卸载结合设计。同时验证多个 token 会增加所需专家,使 CPU-GPU 带宽竞争更激烈;它利用 draft 模型与原模型之间的结构对应关系,在验证前预取专家。再加上限制每层预取深度的策略和异步流水线,TPOT 比现有方法降低了 1.07~3.5 倍。Specterpaper 在 GPU 上运行量化后的轻量 draft 模型,提前看到接下来多个步骤将用到的专家。它报告在单请求条件下 TPOT 平均改善 1.50 倍(最高 1.88 倍)。OD-MoEpaper 将预测推向了极致。它把专家加载和计算分配到多个边缘节点上,以 99.94% 的准确率预测多层之后的专家激活,在需要的前一刻加载,用完立即卸下。这是完全不设缓存的设计,在 10 节点测试平台上达到了全部缓存在 GPU 上的部署约 75% 的解码速度。

第二条路线追问“是否非得用那个专家”。SMoEpaper 不把卸载仅视为纯粹的调度问题,而是把专家的重要性纳入决策。当被选中的低重要性专家不在 GPU 上时,就用缓存中已有的、功能相近的专家代替计算。也就是说,它通过近似计算来减少传输本身。它报告解码延迟降低 48%,缓存命中率超过 60%,准确率几乎无损。

第三条路线是对预测的反驳。Bevypaper 认为,存在 GPU 专家缓存时,预取反而可能有害。缓存装下的所需专家越多,需要在缓存之外猜中的预测就越不准确。因此它选择请求调度而非预测。在同时到达的请求中,让专家已就绪的请求先跑到后面的层(runahead),这些请求就会“不是靠预测而是实际地”暴露出下一步所需的专家。在此期间一边计算已就绪的请求,一边取来缺少的专家。与 llama.cpp 相比,解码吞吐量最高提升到 3.46 倍。

第四条路线是扩大适用范围。OLED-MoEpaper 指出,在按块逐步去噪的半自回归扩散 LLM(采用扩散模型方式的语言模型)中,一次迭代内使用的专家集合变大,逐层预取很难按时完成。它转而利用相邻迭代之间专家路由高度重叠这一点,根据 token 置信度挑选将被再次使用的专家并保留在 GPU 上。无法避免的未命中则由 CPU-GPU 协同执行来弥补。AdaOffloadpaper 针对的是现有卸载系统在增加 GPU 后性能却不随之提升的问题。它在解码和预填充(一次性处理输入提示的阶段)中同时设计 GPU-CPU 并行与协同执行,并在运行时观察工作负载进行调整。在 L4·Pro6000·B200 等五个平台和 284B~753B 开放权重模型上,吞吐量提升了 1.9~15.5 倍。

专家卸载研究地图 同一列中的研究具有相似的问题意识。分组依据是方法思路,而非继承关系。

最新动向:智能体、SSD、策略选择

近期研究中有三股趋势值得注意。第一是本地智能体。Ostinatopaper 研究了在装有几张消费级 GPU 的工作站上运行智能体的情形。智能体每次收到工具结果都要做一次短预填充,然后再解码,而现有 CPU-GPU 引擎只能让其中之一变快。例如,llama.cpp 的专家缓存为保护解码用的专家,在超过 32 个 token 的前向传播中不使用缓存,导致每次工具输出都要等待 2.1~2.8 秒。改用默认的层分配虽然减少了等待,解码却慢了 1.5~1.6 倍。Ostinato 发现,短预填充涉及的专家虽多,但 84% 的路由流向一个能装进 GPU 的稳定专家集合,于是在每次前向传播中都在 GPU 上计算这一集合。在四张 RTX 4090D 上,与 llama.cpp·KTransformers 相比,它将工具输出后的等待时间中位数减少了 22~55%,会话完成速度快了 1.4~2.5 倍。

第二是把层级再往下移一级。PagedMoEpaper 把被路由的专家池放在 SSD 上,用 DRAM 作缓存。对于 SSD I/O 仍留在等待路径上的问题,它通过为每个 token 采用不同的专家精度(位数)来缓解。同一专家的低精度版本被存储为高精度版本的前缀(prefix),因此缓存中已有的位可以复用,只需额外读取缺少的位。在平均 2.5 位下,Qwen3.5-397B-A17B 达到了接近 GPTQ-INT4 的质量,并在 24GiB 专家缓存下实现每秒 8.89 个 token。这表明量化与卸载不再是“压缩多少”和“放在哪里”两个各自独立的决策,而是合并为同一个缓存设计。

第三是策略选择的自动化。COPEpaper 指出,模型稀疏度、CPU·GPU 吞吐量、显存容量和主机-设备带宽一变,策略排名就会改变。为避免逐一实现所有候选方案的成本,它在目标平台上测量算子组合,并结合离线路由记录来估算性能。与所评估的基线方法相比,选出最快策略的准确率提高了 24~100%。这表明研究正在从寻找唯一正确策略,转向寻找针对不同环境选择策略的方法。

在 GPU 上保留多少专家

← 用时加载、用完即卸全部常驻 GPU →
1234
  1. OD-MoE:无缓存
  2. SMoE·Bevy:缓存热门专家
  3. Ostinato:常驻稳定集合
  4. 全部部署在 GPU
越靠左越节省 GPU 内存、越依赖传输;越靠右在 GPU 上常驻的越多。位置仅为相对比较,并非数值。

局限与争议

第一,数值与环境绑定。上述倍数来自不同的基线(llama.cpp、此前最佳系统、全部缓存在 GPU 上的部署)、不同的指标(TPOT、吞吐量、会话完成时间)和不同的硬件。正如 COPEpaper 所示,硬件和模型一变,策略排名本身就可能颠倒。不能把各论文的数字并列比较来判断优劣。

第二,预测并非没有代价。错误的预测会浪费带宽和 GPU 内存;Bevypaper 认为存在缓存时预取反而可能有害。OLED-MoEpaper 也指出,在扩散 LLM 中,现有预取方式实际上退化为按需加载,导致解码延迟增大。相反,OD-MoEpaper 凭借非常准确的预测器,在没有缓存的情况下也能维持性能。预测是否有利取决于工作负载的形态。

第三,需要区分改变计算的优化与不改变计算的优化。SMoEpaper 的专家替代和 PagedMoEpaper 的低精度都会改变模型实际计算的值。所报告的质量是“几乎无损”“接近”,而非完全相同。Ostinatopaper 表示它不改变模型的计算。对于准确性验证要求严格的业务,这一差别会决定选择。

第四,单请求与多请求是不同的问题。Specterpaper 的成果来自单请求推理,而 Bevypaper 需要有并发请求才能成立。是一个人使用的本地 LLM,还是服务多用户的服务器,适合的设计也不同。

实践中选择时需考虑的要点

专家卸载适用的场景很明确:模型权重大于现有显存(VRAM),并且与其购买更多 GPU,不如接受一定的延迟。典型例子是在本地工作站、边缘设备或少量 GPU 上运行大型开放权重 MoE。反过来,如果模型已能完全放入显存且延迟很重要,卸载就是得不偿失。即便是 OD-MoE(paper),其速度也只有全部缓存在 GPU 上的部署方式的约 75%。

选择时先看自己工作负载的形态。单用户对话以 TPOT 为准,多请求批处理则以吞吐量为准。如果像智能体那样短预填充与解码交替出现,正如 Ostinato(paper)指出的,只看解码速度来选引擎,就会忽略每次工具调用产生的等待。如果计划同时使用推测解码,还要考虑 SP-MoE(paper)指出的带宽竞争。

常见错误有三种:直接相信在其他硬件上得出的基准测试结果;未经质量验证就开启会改变模型计算的近似技术;以及不考虑 CPU 侧资源(内存容量、核心数、NUMA 配置)。AdaOffload(paper)把 CPU 性能和 NUMA 配置也纳入了评估变量,vExpert 等分布式环境研究也单独讨论了 DRAM 用量和 PCIe 共享问题。部署前最好对照下面的检查清单确认一遍。

引入卸载前的检查

必要性

  • 模型是否真的放不进显存
  • 接受延迟是否比增加 GPU 更划算

工作负载

  • 是单个请求还是并发请求
  • 以 TPOT 还是吞吐量为准
  • 是否像智能体那样预填充与解码交替出现
  • 是否同时使用推测解码

验证

  • 是否确认近似技术不会改变质量
  • 是否在自己的硬件上实测过策略
  • 是否考虑了 CPU 内存、核心和 NUMA 配置
将正文讨论的问题整理为部署前需要确认的事项。

延伸学习

如果是初次接触,建议先读 OD-MoE(paper)的问题设定部分。其中简要梳理了“放在 CPU 内存中、只把热门专家缓存到 GPU”这一基本结构及其局限。接着读 SMoE(paper),可以获得“不只有调度,也可以选择稍微改变计算”的视角。

想深入了解预测类方法,可以把 SP-MoE(paper)和 Specter(paper)放在一起读。两者都利用推测解码的 draft 模型来预测专家,但前者强调验证阶段的带宽竞争,后者强调用量化后的 draft 向前看得更远。之后再读 Bevy(paper),就能平衡地看到对预测方法的反驳。

如果关注服务器规模或实际部署,读 AdaOffload(paper)和 COPE(paper);如果运行本地智能体,读 Ostinato(paper);如果内存非常紧张、需要用到 SSD,读 PagedMoE(paper)。如果处理的是扩散 LLM 这类生成方式不同的模型,OLED-MoE(paper)说明了为什么原有假设会失效。

相关术语

MoE 激活参数 VRAM 推测解码 量化 本地 LLM 推理引擎 吞吐量(token/秒)

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。