← 专题深读

专题深读 · 2026-11-17 · 进阶 · 作者 bombong

稀疏微调:只改动极少部分权重来改变模型的方法

稀疏微调只从预训练模型的权重中挑出极少一部分进行修改。这种方法能达到接近全量微调的性能,同时减少遗忘和存储负担。关键在于决定“改哪里”的标准,近期研究还进一步揭示,要改的位置会随训练方式(SFT、RL)而不同。

目录
要点
  • 稀疏微调不像 LoRA 那样附加新矩阵,而是从已有权重中挑出一部分,直接修改其值。它不限制变化的形状,只限制修改的数量。
  • 性能在很大程度上取决于“选择哪些权重”。只看权重大小的简单标准在 LLM 上效果较弱,而低秩近似、相对大小、激活加权分数等标准弥补了这一弱点。
  • Deletion Tuning 报告称,只需将不到 0.05% 的权重置零,就能在多种后训练中与全量微调相当,且遗忘少得多。
  • 有分析指出,RLVR 避开主成分方向进行学习,而 SFT 则瞄准主成分权重。因此,无法保证在 SFT 中有效的选择标准在 RL 中同样有效。
  • “修改的数量少”和“占用的 GPU 内存少”是两回事。优化器内存和实际训练速度需要单独测量。

为什么需要它:全部重改和附加模块都不尽如人意

让大语言模型(LLM)适配自身业务最直接的方法是全量微调(Full Fine-tuning,FFT)。它重新训练所有参数,因此表达能力最强。但正如 Super-Tuning 研究(paper)所总结的,它需要大量内存和计算,而且每个任务都要单独保存一个与整个模型同等大小的检查点。LIFT(paper)还指出,在数据较少时,全量微调容易出现过拟合和灾难性遗忘(catastrophic forgetting,即学习新任务时丧失原有能力的现象)。

于是出现了 PEFT(Parameter-Efficient Fine-Tuning,参数高效微调)。其代表 LoRA 冻结原始权重,在旁边附加两个小型低秩矩阵,只按二者的乘积改变权重。它便宜又方便,但变化被限制在“低秩”这一固定形状内。根据目标不同,这种约束可能带来损失。SAFT(paper)指出,在对抗训练中使用 LoRA 时,鲁棒性明显低于训练全部参数的情况,就是一个例子。

稀疏微调(sparse fine-tuning)走的是另一条路。它不附加新矩阵,而是从已有权重中挑出极少一部分,直接修改其值。相当于不限制变化的形状,但限制数量。据 LIFT(paper)介绍,这种方法过去曾取得显著成果,但在 LLM 时代,由于难以找到对推理真正重要的参数而落后。近期研究正是通过解决“改哪里”这一问题,让稀疏微调重新受到关注。

这里需要说明一个术语。DeFT-X(paper)等部分论文将 sparse fine-tuning 缩写为 SFT。但在业界,SFT 通常指监督微调(Supervised Fine-Tuning)。本文中的 SFT 仅指监督微调,稀疏微调则始终写全称。

核心思想:不附加模块,只拧紧几根走音的弦

打个比方,这就像给一架旧钢琴调音。全量微调是把所有琴弦全部换新。LoRA 是在钢琴旁边加一个小型辅助键盘来混合声音。稀疏微调则是在数千根琴弦中找出几根走音的弦拧紧。只动了几根弦,其余的声音保持原样,改了什么也容易记录。

这个比喻的关键在于能听出哪根弦走音的耳朵。稀疏微调的设计最终可分为三个问题:第一,修改哪些权重(选择标准);第二,每层修改多少个(预算分配);第三,如何改变选中的位置。可以重新学习其值,可以置零,也可以表示为用于相加的稀疏矩阵。后文介绍的研究大多是对这三者之一给出了新答案。

其中的取舍也很明确。LoRA 是“哪里都改一点,但限定形状”,稀疏微调则是“只改固定的几处,但不限形状”。因此,稀疏方法如果选好了修改位置,原有能力损失更少,需要存储的内容也更小;反之如果选错,性能会大幅下降。LIFT(paper)报告称只看权重大小的稀疏微调在 LLM 上只是一个较弱的基线,原因也在于此。

三种微调方式

全量微调更新所有权重

  • 表达能力最强
  • 每个任务都要存储完整模型大小
  • 数据少时有过拟合和遗忘风险

LoRA附加低秩矩阵

  • 便宜且简便
  • 变化被限制为低秩形式
  • 因目标不同存在性能差距(例:对抗训练)

稀疏微调只修改部分现有权重

  • 不限制形式,只限制数量
  • 遗忘少,存储小
  • 性能取决于修改位置的选择

공통 都是让预训练模型适配新任务的方法

改什么、改多少、以什么形式改,决定了成本和风险的不同。

工作原理:打分、掩码、训练、存储

大多数方法都经过四个步骤。1)打分。为预训练模型的每个权重打上“值得修改”的分数。最简单的分数是权重值的大小(magnitude)。此外,还有乘上输入该权重的信号(激活)的大小、查看梯度(gradient,即为了降低损失需要将值改变多少),或先将矩阵做低秩近似再看大小等方式。要查看激活或梯度,需要将少量校准(calibration)数据在模型中前向运行一次。

2)确定掩码。生成一个掩码,只有分数高(或符合标准)的权重为 1,其余为 0。整体预算如何在各层之间分配,也在这一步决定。3)只训练掩码位置。训练期间只有掩码为 1 的位置的值会改变,其余保持冻结。这里有一个常见陷阱。SNELLA(paper)指出,对梯度施加掩码的方式会把完整的权重矩阵都放进优化器(计算权重更新的部分),因此内存占用很大。修改的数量少,并不意味着 GPU 内存占用少。

4)只存储差异并组合。训练结束后,只需存储改变的位置和改变后的值,即稀疏的“差异向量”。DeFT-X(paper)所沿用的组合式方法利用了这一特性:分别训练任务知识的差异和语言知识的差异,然后一起加到预训练模型上。这样一来,仅用源语言的任务数据学到的任务,也能在没有标注数据的低资源语言上执行(zero-shot 跨语言迁移)。

稀疏微调的四个步骤预训练模型 → 重要性分数; 校准数据 → 重要性分数; 重要性分数 → 确定掩码; 确定掩码 → 只训练掩码位置; 只训练掩码位置 → 稀疏差值向量; 稀疏差值向量 → 基础模型 + 差值(相加)预训练模型校准数据少量,单次遍历重要性分数幅值·激活·梯度确定掩码取前一部分 + 逐层预算只训练掩码位置其余冻结稀疏差值向量仅含改动的位置和值基础模型 + 差值组合任务·语言差值相加
稀疏微调的四个步骤 上排是确定修改位置并训练的流程,下排是只保留差值来存储和组合训练结果的流程。

发展脉络:“改哪里”的标准如何演变

DeFT-X(paper)和 LIFT(paper)都从低秩视角解决了大小标准易受噪声影响的问题。早期的组合式稀疏微调通过简单的基于大小的剪枝(pruning,剪除重要性较低的权重的技术)来确定掩码。DeFT-X 在剪枝前先用奇异值分解(SVD,按重要方向顺序分解矩阵的方法)去除权重矩阵中的噪声,在极低资源语言的情感分类(NusaX)和自然语言推理(AmericasNLI)上取得了与现有方法相当或更好的结果。LIFT 表明,在 LLM 推理训练中,先将矩阵做低秩近似,再选出数值较大的“主成分权重(Principal Weights)”,大小标准就能重新奏效。它只持续更新前 5% 的权重,在推理任务上一致优于全量微调。内存与代表性 PEFT 方法相当,原有领域知识的保留比全量微调和 LoRA 最多高 20%。

GEM(paper)提出用相对值来看待变化量。现有 PEFT 不管原始大小如何,都会增大更新量的绝对值。但对原本数值较大的权重做小幅修改,模型行为几乎不会变化。GEM 用梯度与权重之比挑选“相对原值会大幅改变”的位置,并根据每层权重值分布的熵来分配修改数量。据报告,它只更新 0.1% 的参数,准确率比全量微调最多高 1.6%(GLUE、SuperGLUE、GSM8k、MBPP)。

Super-Tuning(paper)将原本为剪枝设计的分数直接复用于“改哪里”的问题。它提出了用 Wanda 式激活加权大小分数固定修改位置的 Super,同时还提出了将同一参数预算分给稀疏更新和 LoRA 的混合方法 Supra。在用 Llama-3.2-1B 和 Meta-Llama-3-8B 进行的 Math17K 算术实验中,最佳的 Super/Supra 设置在所比较的适配器中平均准确率最高。不过这是单一随机种子的实验,且研究也同时报告了即使选择分数较低的位置也可能有效的结果。

也有研究针对新目标调整选择标准。SAFT(paper)从对抗训练的梯度集中在少数“鲁棒性关键参数(RCP)”上这一观察出发,只更新这些位置。它只改动约 5% 的参数,一般准确率和鲁棒准确率均高于基于 LoRA 的方法,鲁棒性接近或超过全参数对抗训练。TopKLoRA(paper)让 LoRA 内部稀疏化,以追求可解释性。它让每个 token 只激活最大的 k 个潜在单元,从而找到并移除了实现通过污染数据植入的潜伏型后门的电路。找到的电路比普通 LoRA 最多小一个数量级,能够在保持指令遵循性能不变的情况下只剔除恶意功能。在图像生成方面,基于稀疏编码的微调(paper)将表示构造为“特征字典原子”的稀疏组合,通过去掉不重要的原子提高了图像编辑中的文本对齐(Alignment)。

最新动向:仅置零也可行,RL 修改的是另一些位置

Deletion Tuning(paper)将稀疏微调推向了极致。它不学习数值,只学习一个二值掩码,用来从 Transformer 块的门控投影(gate projection,即前馈层中决定让多少信号通过的部分)权重中挑选要置零的位置。仅将全部权重中不到 0.05% 置零,就在 RLVR、SFT、On-policy Distillation 三种后训练中达到了与全量微调相当的水平,扩大模型规模后也是如此。学到的掩码比同一任务的全量微调检查点小数百到数千倍,遗忘也少得多。在强化学习中,先前任务的准确率保持在基础模型水平;而全量微调、LoRA 和随机稀疏微调最多损失了 5.4 分。

“The Path Not Taken”(paper)深入探究了 RLVR 为何看起来只改变部分参数。该研究认为,稀疏性只是表面现象。只要是同一个预训练模型,即使数据集或 RL 方案不同,更新也总是集中在相似的区域。研究用三道关口解释其原因:KL 约束限制了更新幅度,模型的几何结构把更新引向主成分方向之外的平缓子空间,数值精度则掩盖了极小的更新,使其看起来是稀疏的。结论是,RLVR 绕开主成分方向进行学习,几乎不扰动频谱;而 SFT 针对主成分权重,会扭曲频谱。该研究对把 SFT 时代构建的 PEFT 方法直接搬到 RL 上使用提出了质疑。Deletion Tuning(paper)也采用了同样的“权重几何”视角。它用稳定秩、频谱偏移和主成分权重重叠来分析学到的变化,表明其比 LoRA 或随机稀疏方法更接近全量微调。

视觉方面则直接应对内存问题。SNELLA(paper)认为,“先选位置、再训练”的两阶段方法存在两个问题:无法反映训练过程中发生的权重变化,并且占用内存多。因此它将两者合并为一个阶段:把由两个低秩可训练矩阵合成的稀疏矩阵加到原始权重上,并用非线性核提高合成矩阵的秩。它还让权重在层间和层内按重要性分数竞争,以分配预算。与 Supra(paper)、TopKLoRA(paper)一样,这体现了稀疏微调与 LoRA 之间界限日益模糊的趋势。

各研究修改的权重比例

不到 0.05%Deletion Tuning 置零的比例
0.1%GEM 更新的比例
前 5%LIFT 更新的主成分权重
约 5%SAFT 更新的比例
均为各研究报告的比例。模型、任务和方法各不相同,无法直接比较。
稀疏微调研究地图 上排是选择修改位置的标准,中排是扩展到新目标的研究,下排是近期方向。点击方框可跳转至原文。

局限与争议:何时使用,何时避免

第一,合适的选择标准因训练方式而异。LIFT(paper)主张在 SFT 式推理训练中修改主成分权重,而“The Path Not Taken”(paper)认为 RLVR 会绕开主成分进行学习。在 SFT 中行之有效的掩码标准若要用于 RL,需要单独验证。Super-Tuning(paper)中即使选择分数较低的位置也有效果,这一结果也说明,我们对“为什么这些位置重要”的理解还不完整。

第二,不能只凭修改的数量来判断效率。在将掩码施加于梯度的实现中,优化器仍持有整个矩阵,因此内存收益可能很小(SNELLA(paper))。此外,更新分散位置的运算通常无法像整块矩阵乘法那样高效利用 GPU。实际训练速度和 VRAM 占用最好亲自测量。另一方面,存储上的收益很明确:每个任务只需保存一个小的差值向量或掩码,因此在管理多个任务或多个客户的变体时更有优势(Deletion Tuning(paper))。

第三,要确认证据的适用范围。许多结果来自特定模型规模、单一随机种子和特定基准。“优于全量微调”的报告只是该设置下的结果,并不保证在你自己的数据上也能复现。基线最好同时包括 LoRA 和随机稀疏掩码。正如 Deletion Tuning(paper)所示,与随机稀疏微调之间的差距恰恰体现了选择标准的价值。先前任务的性能也一定要一起测量。

总结来说,以下情况值得使用:保留原有能力很重要时;需要存储并组合大量任务专用变体时;需要追踪或移除修改过的位置时(如 TopKLoRA(paper)的后门移除);用 LoRA 难以达成目标时(如 SAFT(paper)的对抗训练)。反之,如果 LoRA 已能达到目标性能且运维简洁更重要,或者没有可用于验证选择标准的评估集,则不必急于采用。

引入稀疏微调前的检查

选择标准

  • 是否适合训练方式(SFT·RL)
  • 是否与随机稀疏掩码做过比较
  • 是否确定了逐层预算分配

效率

  • 优化器是否没有持有整个矩阵
  • 是否测过实际 VRAM 和训练速度
  • 是否只存储任务专用差值

评估

  • 是否测量了先前任务性能的保持情况
  • 能否在多个随机种子下复现
分别确认选择标准、实际效率和评估范围。

延伸学习

首先通过 LIFT(paper)弄清“为什么幅值标准较弱,低秩近似改变了什么”。接着通过 GEM(paper)了解相对幅值和逐层预算分配,通过 Super-Tuning(paper)了解剪枝分数的复用与 LoRA 混合。读完这三篇,基本就能看到选择标准的主要分支。

然后将两篇近期研究配对阅读。先通过“The Path Not Taken”(paper)理解 RLVR 和 SFT 在权重空间中如何以不同方式变化,再读 Deletion Tuning(paper)。把“仅靠删除就足够”的结果与其几何分析放在一起看,两篇论文可以相互印证。

也可以按应用兴趣选择。多语言与低资源语言从 DeFT-X(paper)读起,安全与鲁棒性从 SAFT(paper)读起,可解释性与后门移除从 TopKLoRA(paper)读起。视觉模型与内存效率以 SNELLA(paper)为起点,图像生成则以基于稀疏编码的微调(paper)为起点。

相关术语

LoRA 微调 后训练 RLVR SFT 可解释性 后门攻击 模型合并

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。