MoE
MoE（Mixture of Experts，混合专家）是一种在模型内设置多个称为“专家”的小型神经网络、并针对每个输入只选取其中一部分进行计算的结构。它可以把整个模型做得很大，同时减少每次实际使用的计算量。
通俗解释 这就像一家大型综合医院虽然科室众多，但一位病人只会在挂号处的引导下去几个需要的科室。不过，实际 MoE 中的“专家”并不会整齐地按人为设定的领域（数学、法律等）划分，而是在训练过程中自然形成分工。
工作原理
MoE 模型包含一个叫路由器（Router）的小型分配装置和多个专家网络。Token 进入后，路由器会为“该发给哪个专家”打分，只挑选得分最高的几个专家进行计算。被选中专家的结果按路由器分数加权混合后，传到下一步。因此，即使总参数量非常大，处理一个 Token 时实际用到的参数（激活参数）也只是其中一部分。
为什么重要
模型越大，性能通常越好，但计算成本一般也会随之上升。MoE 的思路是装下大量“知识”，但每次不全部调用，因此能降低相对于性能的成本。正因如此，近期发布的大型 LLM 和开放权重模型中，有很多采用了 MoE 结构。模型介绍中把“总参数”和“激活参数”分开标注，也是这个原因。
注意事项
虽然计算量减少了，但所有专家都必须加载到内存中，所以所需 GPU 内存依然很大。如果路由器把任务集中分给少数专家，训练可能变得不稳定，因此需要让负载均匀分配的机制。把专家分散到多块 GPU 上时，设备之间的通信也可能成为瓶颈。此外，训练以及量化等后处理比普通模型更棘手，相关研究仍在持续。
示例
云厂商通过 API 提供 MoE 结构的大模型，让用户无需自己部署大模型也能使用。本站介绍过的“AWS 在 Amazon Bedrock 上提供 Z.ai 的 753B MoE 模型 GLM 5.3”就是这样的例子。标题中的 753B 指的是总参数规模，每个 Token 实际参与计算的部分比这要小。
本站出现过的地方
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08
- 简报 AWS 在 Amazon Bedrock 上提供 Z.ai 的 753B MoE 模型“GLM 5.3” 2026-10-07