机制可解释性：用稀疏自编码器窥探模型内部

为什么需要：变成一堆数字的模型内部

神经网络接收输入后，会在每一层生成数千维的向量，即激活（activation）。预测虽然准确，但很难知道向量中每个数字代表什么。在可解释性（Interpretability）研究中，机制可解释性是一个旨在从组件层面揭示“模型通过怎样的内部计算得出答案”的方向。

问题在于，一个神经元并不对应一个概念。一项面向对称数据的 SAE 研究（paper）用叠加（superposition）现象来解释这一点：模型需要处理的概念很多，而维度比概念少，因此会把多个概念叠加存放在较少的维度中。所以观察单个神经元时，常会发现它同时对多个互不相关的概念产生响应。

这种不透明性在实际应用中会带来代价。一项 EEG（脑电）基础模型研究（paper）指出，即使临床性能很高，如果内部计算不可见，也很难获得医疗一线的信任。一项代码正确性研究（paper）认为，在 AI 建议的代码大量进入实际服务的情况下，只有了解模型在内部如何判断“这段代码是正确的”，才能安全地部署。

核心思想：把和弦按乐器拆开

设想一段管弦乐录音。麦克风收到的声音是一条波形，但其中混合着小提琴、大提琴和小号。而且在任何时刻，真正在演奏的乐器只是整个编制中的几件。利用“混合在一起”和“同时发声的只是少数”这两个性质，就可以把波形重新拆分成各个乐器的声音。

稀疏自编码器（Sparse Autoencoder，SAE）也基于同样的思路。借用 Expander SAE 论文（paper）的归纳，SAE 将激活 h 表示为学习得到的字典 W 与稀疏编码 x 的乘积（h ≈ Wx）。字典是条目多于原始维度的过完备（overcomplete）字典，编码 x 大部分为 0，只有少数几个位置有值。字典中的每个条目（特征，或称 atom）相当于一件乐器，编码值相当于这件乐器的音量。

为什么要特意增加维度？因为叠加使得概念比原始维度更多。但增加维度后，解释同一激活的方式会变得过多，因此要施加“只让少数激活”的稀疏性约束来缩小解的范围。同一篇论文说明，这个推断问题与压缩感知（从少量测量值中恢复稀疏原始信号的问题）的基本框架非常相似。这一设计以接受重建误差和计算量为代价，换取人能读懂的特征。

如何运作：从收集到干预

第一，固定要解释的模型，大量收集特定层的激活。医疗领域 SAE 研究（paper）使用了 Gemma-2 模型第 20 层的激活，PhysSAE（paper）使用了物理信息神经网络（PINN）倒数第二层的激活。选择哪一层、哪些数据，会左右之后的全部结果。

第二，编码器把激活转换为稀疏编码，解码器再通过字典将其重建。训练同时兼顾“重建误差要小、激活的特征数要少”两个目标。强制稀疏性的方式不同，变体也随之分化。只保留前 k 个的 TopK SAE 被 EEG 研究（paper）和 Expander SAE（paper）采用，截断阈值以下部分的 JumpReLU SAE 被医疗领域研究（paper）采用，子空间 SAE 研究（paper）则以施加 ℓ1 正则化的基本目标函数作为分析对象。

第三，为每个特征命名其含义。收集让该特征强烈激活的输入由人查看，或交给语言模型自动生成说明。医疗领域研究（paper）同时使用了自动评估和人工评估，ESMFold 研究（paper）则用推理型语言模型解释了大规模字典。

第四，干预原始模型，确认名称是否正确。尝试删除特征（ablation），或放大特征、将模型输出推向期望方向的引导（steering），观察结果是否按预期变化。PhysSAE（paper）在此基础上更进一步：不经过 SAE 解码器，而是从固定的原始隐藏状态中仅减去对应特征方向的分量来进行干预。这一设计是为了避免 SAE 的重建误差污染干预结果。

发展脉络：各项起点研究分别修正了什么

本文的起点研究均发表于 2025~2026 年。因此，与其将其看作从“最早的 SAE”延续下来的谱系，不如理解为从不同方向修补同一工具弱点的趋势更为准确。大致可分为数据与效率、结构假设、应用与验证三条路线。

在数据与效率方面，医疗领域 SAE 研究（paper）认为，在广泛数据上训练的 SAE 会把有限的特征预算花在常见却无用的模式上。将训练范围缩小到 19.5 万条临床问答后，可多解释最多 20% 的方差，重建误差中无法解释的线性成分（“暗物质”）也有所减少，特征还与“传染性单核细胞增多症”等临床概念相吻合。Expander SAE（paper）把随字典增大而变得昂贵的解码器替换为稀疏连接结构。在 Qwen2.5-3B 上，需要学习的解码器参数值减少了 293 倍，同时仍保持了密集解码器 84% 的 CE 损失恢复。

在结构假设方面，研究修正了“一个特征 = 一个方向”这一基本假设。子空间 SAE（SASA，paper）证明，当真实特征具有多个维度时，单方向解码器会把一个特征拆分成多个几乎平行的特征，且所需特征数随该特征的维度呈指数增长；并提出了将解码器替换为学习得到的子空间的方法。面向对称数据的 Equivariant SAE（paper）认为，旋转等对称性会加剧 SAE 的不可识别性（多种解释同样拟合良好的问题），并将作为 SAE 理论基础的线性表示假设扩展到能够处理对称性。SAE 神经算子（SAE-NO，paper）用函数而非标量值来表示概念，不仅记录概念是否被激活，还记录它在输入的何处、以何种方式出现。它在高于训练时的分辨率下也能工作，在现有 SAE 失败的条件下实现了泛化。

在应用与验证方面，研究在把 SAE 扩展到 LLM 之外的同时，追问“找到的特征是否真实”。代码正确性研究（paper）在 LLM 中找到了预测错误代码的方向，并且由于该方向在指令微调后仍然有效，作者认为预训练中学到的机制在微调中被重复利用。EEG 研究（paper）对三种结构不同的 EEG Transformer 采用了相同流程，并按异常表现、年龄、性别、用药等临床分类评估特征。PhysSAE（paper）表明，在六类 PDE 中，SAE 特征与独立定义的物理量的吻合度最高达 |r|=0.951，且删除特征的效果在空间上比用 PCA 或 ICA 干预时集中 1.2~4.2 倍。

当前走向：诊断工具与科学模型

近期研究正把 SAE 的用法从“制作特征图鉴”转向“回答其他问题的诊断工具”。一项剖析蒸馏的研究（paper）用 CKA、logit lens、注意力模式分解、SAE 特征统计和激活修补，比较了 GPT-2（教师模型）与层数减至 6 层的 DistilGPT-2（学生模型）。间接宾语识别（IOI）回路在学生模型中完全崩溃，准确率从 94.8% 降至 35.2%。而大小比较（Greater-Than）回路则经过重新部署——教师模型第 9 层的比较头迁移到学生模型的第 4 层（平均 Pearson r = 0.945）——恢复了 87.7% 的任务性能。作者的结论是，仅凭整体指标无法判断回路是否完好。

另一个方向是观察科学模型的内部。ESMFold 研究（paper）将 SAE 应用于从氨基酸序列预测三维蛋白质结构的模型的折叠计算部分（trunk）。结果显示，承接序列信息的表示与计算残基对之间几何关系的表示分工承担不同任务。研究还用基于梯度的归因分析追踪了概念如何沿着各个模块组合，并确认了这些计算与已知生物化学相符和相悖之处。结合 PhysSAE、SAE-NO 和 EEG 研究来看，SAE 正在超越语言模型，成为用于物理、医学和生物模型的通用显微镜。

局限与争议

最根本的争议在于“正确答案字典”并不唯一。Equivariant SAE 研究（paper）指出，不同的解释可能同样很好地拟合数据，仅凭重建质量无法区分其中哪一个忠实于模型。在具有对称性的数据上，即使重建更差，特征也可能更有用，因此该研究警告，将重建质量作为可解释性的核心指标时需要谨慎。

第二是特征分裂与吸收。子空间 SAE 研究（paper）证明，基本目标函数实际上更倾向于把多维特征拆分成多个特征。医疗领域研究（paper）也报告了在广泛数据上训练的 SAE 中，特征出现碎片化或相互吸收的现象。特征数量多，并不意味着找到了很多概念。

第三是干预的副作用。EEG 研究（paper）把引导结果分为“可选择性操控”“已包含但相互纠缠”“未包含”三种情况。研究还报告了会摧毁模型整体性能的“拆楼铁球”式干预，以及像年龄与病理那样，即使只想压制其中一个也会破坏另一个的纠缠现象。在代码正确性研究（paper）中，修正错误的引导同样以破坏正确代码为代价。因此作者建议，不要始终进行干预，而只在预计会出错时有选择地干预。

实践中的判断标准

SAE 适用的场景是：想确认“模型内部是否具备某个概念”，或希望把该概念用作警报信号。代码正确性研究（paper）提出，可将预测错误代码的方向用作供开发者审查的错误警报。相反，考虑到上述研究报告的副作用，把常驻引导（steering）当作永久修正模型行为的手段时应当谨慎。

常见错误有四种。第一，仅因重建误差或损失恢复率良好，就认为解释是正确的。第二，试图用一个基于广泛数据构建的通用 SAE 去解释特定领域。医疗领域研究（paper）报告称，缩小领域范围效果更好。第三，止步于给特征命名，而不做干预实验。第四，在考察干预效果时只看目标概念，而不检查其他概念或整体性能是否一同崩溃。

验证方式也最好事先确定。可以像 PhysSAE（paper）那样，与随机选取的特征或 PCA 等简单基线进行比较，并确认结果能否在多个随机种子下复现。还应像 EEG 研究（paper）那样，同时测量对目标概念和非目标概念的影响。在检查压缩或蒸馏后的模型时，正如蒸馏剖析研究（paper）所示，需要按电路单元而非整体分数进行确认。

延伸学习

如果是初次接触，建议先读医疗领域 SAE 研究（paper）。这篇论文涵盖了在 LLM 激活上应用 SAE 的典型流程、广泛数据的局限，以及自动评估和人工评估。接着阅读代码正确性研究（paper），可以看到如何将找到的方向实际用于预测和引导，以及相应的代价。

如果对理论感兴趣，可以把面向对称数据的 Equivariant SAE（paper）和子空间 SAE（paper）放在一起读。前者讨论“重建质量 ≠ 解释质量”，后者讨论“特征分裂由目标函数造成”。两者都展示了 SAE 的基本假设在何处失效。如果关心大规模应用的成本，Expander SAE（paper）梳理了存储量与保真度之间的权衡。

想学习验证方法，PhysSAE（paper）和 EEG 研究（paper）是不错的选择。其中具体介绍了如何直接干预原始隐藏状态、如何设置随机对照组，以及如何测量非预期效应。最后，通过蒸馏剖析研究（paper）和 ESMFold 研究（paper）了解 SAE 如何与其他分析工具结合使用，可以跟上近期的发展趋势。