Activation Steering：拨动模型内部的方向来改变性格

为什么需要它：提示词与微调之间的空白

改变大语言模型（LLM）行为的常见方法有两种。一种是用提示词下达“如实回答”之类的指令，另一种是通过微调重新训练权重本身。提示词便宜又快，但难以保证模型会在多大程度上遵从指令；微调效果确定，但需要数据和算力成本，回退也很麻烦。

Activation Steering 瞄准的正是两者之间的位置。它保持模型权重不变，在推理过程中向内部计算值（激活）加入一个小向量，从而改变行为。OPIUM 研究（paper）将其描述为“在推理时控制 LLM 的轻量机制”，SYNC 研究（paper）则解释为“不触碰权重、在推理时对齐模型”。

这种方法尤其受到安全与对齐领域的关注，因为无需训练，就能实验和调整模型在策略游戏中有多利他、在多大程度上遵守组织价值观、能把幻觉减少多少。同时，它能揭示模型内部哪个方向与哪种行为相关，因此也是可解释性研究的工具。

核心思想：思维空间中的“方向”

Transformer 每经过一层，都会把各 token 的信息不断累加到一条很长的数值向量上并向后传递。这一信息流称为 Residual Stream（残差流）。多项研究认为这个空间中存在可解释的方向。First-Order Steering 研究（paper）将 Activation Steering 定义为“利用 Residual Stream 中可解释的方向，在推理时操控模型行为”。

打个比方。把模型的思考看作一张大地图上的一个点。如果“乐观语气”街区和“阴郁语气”街区位于地图的不同位置，那么连接两个街区中心的箭头就是 Steering 向量。推理时把这个箭头加到当前位置上，思考就会被推向那一边；把箭头拉长（加大强度），就会走得更远。

这种设计有三点吸引人之处。第一，不需要训练或只需极少训练。第二，去掉向量或把强度调回 0，就能立即恢复原模型。第三，同一个模型保持不变，每个请求可以插入不同的向量。但无法保证这个箭头只包含真正想要的概念。这种取舍正是后文副作用问题的根源。

如何运作：逐步拆解 CAA

最广泛使用的起点是 CAA（Contrastive Activation Addition，对比激活加法）。正如输入依赖 Steering 研究（paper）所述，CAA 把由两组均值之差得到的单一固定方向加到所有输入上。分步骤来看如下。

1) 成对收集执行目标行为的示例（如利他的回答）和相反的示例（利己的回答）。2) 将两组输入模型，记录特定层的激活。3) 计算两组的平均激活差，保存为 Steering 向量。4) 实际推理时，在同一层的激活上加上该向量乘以强度系数的结果。

一项将该方法用于博弈论实验的研究（paper）用 CAA 构建了表示利他、宽恕和对他人期望的人格向量，并表明 Steering 会同时系统性地改变游戏中的数值策略选择和自然语言解释。Creative Collision 研究（paper）也在基于电影导演剧本的语料上用均值差构建了两位导演的人格向量，两种人格都在一个 40 层解码器模型的第 28 层表现最强。这意味着注入哪一层会在很大程度上决定效果。

总结起来，需要人来决定的旋钮有三个：用什么对比数据提取方向，注入哪一层，注入多强。后续研究大多是在更聪明地选择这三者之一。

发展脉络：从单个向量到组合、上下文与副作用

第一条脉络是“根据上下文更换向量”。针对视觉-语言模型（VLM）幻觉的 Dynamic Multimodal Activation Steering（paper）发现，真实性 Steering 向量会随语义上下文显著变化，于是建立了按语义划分的向量数据库，选出与输入最相似的向量，只注入最有影响力的注意力头。针对扩散语言模型的 TRACESTEER（paper）认为，预先确定的向量和统一的强度无法适应每个去噪步骤都在变化的状态，因此以前一步的预测作为反馈，在每一步调整方向和强度。

第二条脉络是“混合多个向量”。Creative Collision（paper）把两个倾向截然相反的人格向量混合后，观察到一方（斯皮尔伯格）几乎在全部区间压制另一方的方向主导现象。SYNC（paper）指出，同时引出多个人格时，如果预先固定层和组合方式，离线搜索成本很高，而且最优强度会随解码步骤变化。为此，它根据余弦相似度的变化趋势估计各层敏感度，为每个人格在每一步选择注入的层，在 28 个设置中有 21 个领先（其中 15 个具有显著性）。First-Order Steering（paper）走了另一条路。它注意到在模型合并领域，权重变化可以很好地合并，因此把 Steering 向量定义为权重更新的一阶近似，并提出了减小近似误差的合并流程 HeRD-Merging。

第三条脉络是“处理副作用”。OPIUM（paper）关注“外部效应”：有用性向量会削弱安全行为，拒绝向量会让模型连无害的问题也拒绝。它在原向量失效的问题上优化新向量，使其对齐更安全的基准行为，从而在无需训练的情况下改善了安全与有用性的平衡。

近期走向

近期研究关心的不再是“能改变多少”，而是“改变多少仍然可以接受”。Behavior-Capability Frontier 研究（paper）在 4 个指令微调模型和 7 种行为上，把能力损失限制在 1、3、5 个百分点以内，并在此范围内选择使行为变化最大的强度。在验证数据上选出的效果能很好地延续到新数据上（ρ=0.945），但行为与能力同时保留下来的比例在 1% 预算下为 37.5%，3% 下为 72.7%，5% 下并没有明显增加。研究还报告，即使通过了受保护的基准测试，未经测试的能力也可能下降。

第二个方向是按输入进行不同的编辑。输入依赖 Steering 研究（paper）认为，当目标点在同一类别内也会变化时，固定方向的 CAA 无法表达其中的差异，因此采用检索式规则，以与问题最接近的 k 个已存储状态的平均值为目标。在类别内目标会变化的情况下，这种方法优于固定方向；词级编辑最好在网络前 10% 的部分进行，而子句级编辑无论在哪个深度，都以使用类别均值为佳。

第三个方向是像组织价值观这样需要同时遵守多项标准的问题。VIAS（paper）发现，若简单对比遵守全部价值观的回答与违反的回答，每种价值观得到的几乎都是同一个“通用遵守信号”向量。因此，它与只去掉某一项价值观的提示词进行对比，单独分离出该价值观。向量之间的重叠减少了，但仍未做到独立调节每项价值观；与提示词结合使用时，遵守全部相关价值观的比例为 Qwen2.5-7B 69.6%、Mistral-7B 75.2%。

局限与争议：何时使用，何时避免

第一，很难确定向量里究竟包含了什么。正如 VIAS（paper）的案例所示，作为“特定价值观”向量构建的东西，实际上可能是更通用的信号。在博弈研究（paper）中，还观察到在 Steering 下模型的说法（解释）与实际策略不一致的情况。不能因为语气变了就断定行为也变了。

第二，副作用是常态。OPIUM（paper）展示的安全性削弱和过度拒绝，以及 Frontier 研究（paper）展示的未测试能力下降，都可能随强度提高而加剧。混合多个向量时，还会出现一方覆盖另一方的现象（paper）。反过来，Creative Collision 研究也报告，在高强度下把两个向量以大致居中的比例混合，句子连贯性反而比单个向量更好，这说明组合效果难以预先判断。

归纳为实践中的判断标准如下。当无法修改权重或需要快速实验、仅靠提示词难以改变行为时，它值得一用。反之，对于无法像开放权重模型那样访问内部激活的 API 模型，它无法使用；在需要对多项标准进行精确、独立控制的场景中，目前效果也不如预期。常见错误包括：只看目标行为得分来决定强度；对所有输入固定使用同一层、同一强度；以及不检查对比数据是否还包含目标概念以外的差异（长度、格式等）。

延伸学习

如果是初学者，建议先读实际应用 CAA 的博弈论研究（paper）。在一篇论文中就能看到构建人格向量的过程与效果，以及说法与策略不一致的局限。接着读 Behavior-Capability Frontier 研究（paper），就能了解选择强度时还需要同时衡量什么。

如果关心混合多种行为的问题，可以先通过 Creative Collision（paper）了解现象，再用 SYNC（paper）和 First-Order Steering（paper）比较两种解决思路（推理时选择层、与权重合并建立联系）。从安全角度看，OPIUM（paper）和 VIAS（paper）直接讨论了副作用与价值观分离。

若想了解幻觉缓解等应用方向，针对 VLM 的 Dynamic Multimodal Activation Steering（paper）和针对扩散语言模型的 TRACESTEER（paper）很好地展示了“从固定向量到上下文自适应向量”的脉络，而输入依赖 Steering 研究（paper）则从理论上梳理了这一脉络。