AI 术语表 · 进阶 · 效率与基础设施
量化
量化（Quantization）是用更少的比特来表示 AI 模型中的数字（参数等），从而让模型变得更小、更快的技术。它以略微降低精度为代价，大幅减少内存和计算成本。
通俗解释 这类似于把高清照片保存为体积更小的格式。大多数情况下肉眼几乎看不出差别，但压缩过度就会出现模糊的部分。
工作原理
模型参数原本通常以能精确存储小数的 16 位或 32 位格式保存。量化把这些数字转换为 8 位、4 位等更短的格式，减少可表示数值的格数。原始值会被舍入到最接近的格，同时保存一个决定格间距的基准值（缩放因子），以便之后大致还原原来的大小。量化方式分为直接转换训练完成的模型（PTQ），以及在训练过程中提前纳入量化、让模型适应误差的方式（QAT，量化感知训练）。
为什么重要
LLM 参数量极大，直接运行需要昂贵的 GPU 和大容量内存。量化后，同一个模型可以用更少的内存加载，从而在一台设备上运行更大的模型，或同时服务更多用户。在笔记本电脑或智能手机上运行 AI 的端侧 AI 中，量化也几乎是必需的。开放权重模型发布时，常常会同时提供量化版本。
注意事项
比特数压得太低，回答质量可能下降，或在某些任务上出错增多。模型中部分数值特别大时，舍入误差会变大，因此有多种专门处理这类数值的技术。即使比特数相同，不同方法的质量也会有差异，所以最好将量化模型与原始模型分开评估。还要记住，硬件必须支持相应的数字格式，才能真正获得速度提升。
示例
在个人电脑上运行开放权重 LLM 的用户，通常会下载 4 位或 8 位的量化版本使用。研究方面也有人尝试把量化扩展到训练阶段。本站介绍的论文《TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练）》探讨了在对 MoE 模型进行强化学习时，如何在使用 4 位数字格式（FP4）的同时应用 QAT，使训练顺利进行。
本站出现过的地方
- 论文 TRACE：面向 MoE 语言模型 FP4 强化学习的基于 Rollout 的 QAT（量化感知训练） 2026-10-08