← 专题深读

专题深读 · 2026-11-18 · 进阶 · 作者 bombong

混合精度量化:各层使用不同比特数,用KL散度衡量质量

混合精度量化不会把模型的所有层都压缩到相同的比特数,而是给敏感的部分分配更多比特,在不敏感的部分削减更多。本文介绍如何用原始模型与量化模型的下一个token分布差异(KL散度)来衡量敏感度,并讨论如何在内存预算内把测得的敏感度作为分配问题求解,以及这种方法的局限。

目录
要点
  • 如果所有层都压缩到相同的比特数,平均比特数低于4比特时质量会大幅下降。因此就产生了为各层分配不同比特数的分配问题。
  • KL散度衡量原始模型与量化模型对下一个token给出的概率分布相差多少。与只看单个正确token的困惑度相比,它能更全面地捕捉整个输出分布的变化。
  • 把逐层单独测得的敏感度简单相加,会忽略层与层之间的相互影响(交互作用)以及误差累积的效应。近期研究正转向直接以模型整体层面的目标进行优化。
  • 选择什么样的校准数据、使用什么指标,都可能改变“重要层”的排序。也有报告指出,按困惑度得出的排序与推理性能几乎不相关。
  • 比特混合得越细,内存布局就越不规则,硬件上的速度收益可能随之减少。因此还需要让分配单位与硬件相匹配的设计。

为什么需要:所有层统一比特数的局限

量化是把模型参数从16比特等高精度转换为4比特、3比特、2比特等低比特数,从而减少内存占用的技术。拥有数十亿参数的LLM,原样很难部署到端侧AI或显存(VRAM)较小的设备上。因此,不重新训练、直接压缩已训练完成模型的训练后量化(PTQ,Post-Training Quantization)被广泛使用。GPTQ和AWQ是代表性的PTQ方法。

最简单的方法是把所有层压缩到相同比特数的均匀量化。然而,各层在降低比特数后输出受损的程度,即敏感度,各不相同。有的层即使压到2比特也几乎看不出变化,有的层稍有改动模型就会胡言乱语。在相同的内存预算下,从不敏感的层节省比特、集中分给敏感的层更为合理。这就是混合精度量化(Mixed-Precision Quantization,MPQ)的出发点。

问题在于,平均比特数定得越低,难度越大。CoopQ(paper)指出,当平均精度降到4比特以下时,现有的混合精度方法表现吃力。原因在于现有方法依赖逐层单独测得的指标,而这类指标会忽略影响整体性能的层间交互作用。因此,这一领域的核心问题有两个:第一,用什么来衡量质量损伤;第二,如何根据这些测量值分配比特。

核心思路:把有限的预算集中到“痛点”上

打个比方,这就像用固定的维修预算加固一栋旧楼。如果给每根柱子花同样的钱,几乎不承重的柱子也会占用预算,而真正支撑建筑的柱子反而加固不足。更合理的做法是先评估每根柱子有多重要,再给重要的柱子多分预算。在混合精度量化中,柱子就是层(或块、专家、tile),预算就是总内存,即平均比特数。

为此需要一把衡量“损坏了多少”的尺子。本文讨论的尺子是KL散度(Kullback-Leibler divergence)。LLM在每一步都会输出一个分布,为接下来可能出现的每个token给出概率。把原始模型的分布与量化模型的分布放在一起,用一个数字计算二者相差多少,这就是KL散度。两个分布相同时为0;量化模型越是把概率集中到与原始模型不同的token上,它就越大。

这把尺子之所以有用,是因为它不需要标准答案数据。它以原始模型本身为基准,所以只需要一小批无标签的校准(calibration)句子。而且它不只看正确token的概率,也会反映排名第二、第三的候选token概率如何变化。

如何运作:从测量到分配

实际流程大致分为五步(细节因研究而异)。第一,准备校准数据,通常是数百句规模的通用文本。第二,用原始模型(如BF16)运行这些句子,保存每个位置的下一个token概率分布,作为基线。

第三,测量敏感度。最常见的做法是只把一层换成低比特,其余层保持原始精度,然后在全部校准数据上计算与基线分布之间KL散度的平均值。对每一层、每个候选比特数(如2、3、4比特)重复这一过程,就得到一张“把这一层压到这个比特数会造成这么多损伤”的表。也有方法用困惑度、梯度或量化误差代替KL。

第四,用这张表在预算内求解最优分配。这变成一个组合优化问题:“在总内存不超过预算的前提下,为每一层选一个比特数,使损伤之和最小”。常用的工具有整数线性规划(ILP)、二次优化、动态规划等。第五,按选定的比特数实际应用GPTQ等量化后端,并重新测量完成后整个模型的KL和基准测试成绩。

这个流程隐含一个假设:逐层单独测得的损伤相加就等于整体损伤,即可加性。实际上,前面层的误差会传播到后面的层并被放大,所以这个假设并不准确。下面的发展脉络中,相当一部分就是关于如何修正这一假设。

用KL衡量,在预算内分配校准数据 → 原始模型; 校准数据 → 候选量化; 原始模型 → 测量KL散度; 候选量化 → 测量KL散度(比较); 测量KL散度 → 逐层敏感度表; 逐层敏感度表 → 预算优化; 预算优化 → 应用量化(比特分配); 应用量化 → 最终检查校准数据无标签句子集原始模型保存基准分布候选量化只把一层压到低比特测量KL散度下一个token分布差异逐层敏感度表层×比特的损伤预算优化整数规划等应用量化GPTQ等后端最终检查整体KL·基准测试比较比特分配
用KL衡量,在预算内分配 上面一行是比较原始模型与候选模型的下一个token分布、生成敏感度表的过程。右侧一列是根据该表分配比特、应用后再次检查的过程。

为什么用KL散度:各种质量指标的取舍

困惑度只看模型给正确token分配了多高的概率。它计算简单、直观,但只要正确答案的概率大致保持不变,其余候选的概率即使大幅波动也不容易显现出来。KL散度比较的是整个分布,因此连这类变化也能捕捉到。而且它以原始模型而不是标准答案句子为基准,与量化的目标——“行为与原始模型有多一致”——直接对应。

研究中也在使用这一信号。FlexQuant(paper)利用模型的困惑度熵和KL散度来确定逐层的混合精度,并在每生成一个token时动态改变比特数。报告称在多种语言任务上,准确率损失可忽略不计,同时端到端速度提升1.3倍。最近的ACSeL(paper)使用质量代理指标RMQD(Relative Model Quality Degradation),该指标基于候选模型与参考模型的下一个token分布之间的散度。作者表示,在实验所覆盖的模型规模和精度范围内,RMQD计算成本低,并且与下游基准测试性能高度相关。

不过,KL也不是万能的。KL值只是在校准数据中出现的上下文里测得的,因此无法保证这些数据之外的能力(例如长篇数学推理)受损了多少。这与“最新进展方向”一节中TASA研究针对基于困惑度的敏感度所揭示的问题是同一脉络。归根结底,无论用哪种指标,都必须同时考虑“是在什么数据上测的”。

衡量质量的三把尺子

困惑度正确token的概率

  • 计算简单、直观
  • 需要标准答案句子
  • 排序可能与推理性能不一致

KL散度与原始模型比较分布

  • 无需标签,以原始模型为基准
  • 反映整个分布的变化
  • 无法保证校准数据之外的能力

模型级目标在组装后的整个模型上评估

  • 反映层间交互作用
  • 包含误差传播
  • 搜索成本高,需要缩小搜索空间

공통 都用作在内存预算内决定把比特分给哪里的依据

比较了衡量敏感度的几种代表性方式。无论哪种方式,都同样受限于其数值是在校准数据上测得的。

发展脉络:从逐层视角走向模型整体

CoopQ(paper)把混合精度问题看作各层之间的合作博弈。它提出SPQE,用于高效估计博弈论中的Shapley值(Shapley value,一种在合作中公平分配各参与者贡献的方法),从而同时衡量逐层敏感度和层间交互作用。它把这一估计转化为二值二次优化问题,在严格的内存约束下为每层分配2比特或4比特。在Llama-3、Gemma-2、Qwen-3以及三种PTQ后端(Quanto、HQQ、GPTQ)上,平均比特数从4比特到2比特范围内,其困惑度比最佳基线低20%~80%,并且比特越紧张,差距越大。

FlexQuant(paper)开辟了动态方向,不固定比特分配,而是在生成过程中改变。SFMP(paper)针对的是另一个问题:现有混合精度方法要么依赖昂贵的离散优化,要么因内存布局不规则而降低硬件效率。SFMP把比特数扩展为分数值,将离散分配转化为连续问题。此外还加入了块级混合精度、聚集重要权重的行列重排,以及支持任意平均比特数的统一GEMM内核。作者表示,在相同内存约束下,它优于层级方法。

在MoE模型中,分配单位从层转向了专家(expert)。GEMQ(paper)指出,现有方法只在层内估计重要性,并忽略了量化导致路由器选择改变的现象。因此,它用线性规划统一处理模型中所有专家的重要性,并对路由器进行轻量微调,使其适配量化后的专家。同一时期的剪枝与量化联合优化研究(paper)认为,大多数PTQ只优化逐层误差,忽略了误差沿网络累积和传播,因而提出直接减少模型整体误差传播的混合精度策略。在1~3比特下,其WikiText困惑度比权重-激活量化基线最多低21%;与仅权重量化方法相比,在WikiText上最多低59%,在C4上最多低85%。

用一句话概括这一脉络:最初是把逐层单独测得的分数相加,之后的研究转向反映层间交互作用和误差传播。与此同时,分配单位也从层扩展到块和专家等多种形式。

最新进展方向

第一,质疑指标本身的趋势。TASA(paper)报告了一种名为“困惑度错觉(Perplexity Illusion)”的现象:按基于困惑度的敏感度被判定为重要的层,与对复杂推理性能影响最大的层之间,排序相关性为Kendall τ≈0,即几乎没有相关性。研究还表明,只用目标任务数据进行校准反而可能降低性能,而混入通用领域数据能让敏感度估计更稳定。通过这样联合优化校准数据构成和比特分配,平均3.5比特的模型达到或超过了多个4比特均匀基线。在LLaMA-3-8B的GSM8K上,比最强的3比特基线高出20多分。

第二,直接优化模型级目标的趋势。Q-Strata(paper)针对MoE模型中为所有专家的所有线性层确定比特数会导致搜索空间过大的问题,将其分为两个阶段求解。内层阶段用廉价的代理指标对块内分配进行排序,预先为每个块保存各预算下的最优候选(帕累托前沿)。外层阶段只需为每个块确定一个预算。由于搜索量相应缩小,它可以直接优化在组装后的整个量化模型上评估的目标,并能捕捉加和式代理指标所忽略的块间耦合。它在Mixtral-8x7B-Instruct等三个MoE模型的低比特区间,报告了比均匀比特GPTQ和GEMQ更低的WikiText2困惑度。

第三,一并选择整套部署条件的趋势。ACSeL(paper)面向边缘端等内存和延迟预算紧张的环境,把问题看作同时选择模型规模、批大小、量化算法和混合精度组合。它在所有可能的组合中,寻找满足预算且预测质量最高的组合。为此,它使用一个轻量级代理模型,仅根据配置来预测前文提到的基于分布散度的RMQD,而层级混合精度搜索则使用名为BandPareto的结构化搜索算法。可以看到,KL类指标正从比特分配扩展为部署配置搜索的依据。

混合精度量化研究图谱 左边两列是起点研究,右边一列是近期研究。虚线表示Q-Strata把GEMQ作为比较基线。

局限与争议:实践中需要考虑的问题

什么时候用:如果均匀4比特的质量已经足够,混合精度带来的收益不大。正如CoopQ(paper)的结果所示,平均比特数越是紧张到4比特以下,差距就越大。相反,如果因为内存不得不降到3比特左右,或者是专家数量多、内存负担大的MoE模型,就非常值得考虑。

常见错误之一是校准数据选得过于偏向某一方面。TASA(paper)的结果表明,只使用目标任务数据同样有风险。之二是只相信单一指标。无论困惑度还是KL,都是在校准数据上测得的平均值,因此最终模型必须用实际要使用的任务的基准测试重新验证。之三是把逐层分数之和误当作整体损伤。指出层间交互作用和误差传播的研究(paper、paper、paper)一再强调这一点。

与硬件的冲突也是一大争议点。正如SFMP(paper)所指出的,比特混合得过细会使内存布局不规则,即使内存减少,速度也可能达不到预期。应把分配单位设为块这类对硬件友好的单位,并先确认是否有能运行该比特组合的内核。搜索成本也需要考虑。对每个层×比特组合测量KL的成本会随模型变大而增加,因此出现了像SFMP那样免去搜索、或像Q-Strata那样缩小搜索空间的设计。

最后,报告的数值大多来自WikiText困惑度或特定基准测试。无法保证在自己服务的实际问题分布上也能保持同样的排序。

引入混合精度前的检查

必要性

  • 均匀4比特是否仍然内存不足
  • 是否是像MoE这样参数负担大的模型

测量

  • 校准数据中是否混入了通用领域数据
  • 是否没有只依赖困惑度这一项指标
  • 是否没有把逐层分数之和误当作整体损伤

部署

  • 分配单位是否对硬件友好
  • 是否有能运行该比特组合的内核
  • 是否用实际任务的基准测试重新验证过
把正文中的判断标准整理成了检查项。

延伸学习

要掌握概念,建议从CoopQ(paper)读起。逐层指标的局限、交互作用、预算约束下的优化——这一领域的基本框架都包含在这一篇中。接着阅读直接使用KL散度的FlexQuant(paper),可以建立“用分布差异衡量质量”的直觉。之后再读ACSeL(paper),可以看到同一信号如何扩展到部署配置搜索。

想批判性地看待指标,可以读TASA(paper);关于硬件效率和搜索成本问题,可以看SFMP(paper)。如果处理MoE模型,建议先在GEMQ(paper)中了解专家级分配和路由器校准,再通过Q-Strata(paper)理解为什么需要两阶段分配。误差累积和传播的视角可以在剪枝与量化联合优化研究(paper)中找到。

相关术语

量化 GPTQ·AWQ 精度(FP32、BF16、FP8) MoE VRAM 端侧 AI 基准测试 本地 LLM

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。