AI 术语表 · 进阶 · 安全与对齐
可解释性
可解释性（Interpretability）是一个研究领域，旨在让人能够理解 AI 模型为什么给出某个回答、模型内部实际发生了怎样的计算。
通俗解释 这就像不只是尝一口做好的菜就结束，而是走进厨房查看放了哪些食材、按什么顺序放的。不过，AI 的“厨房”由数十亿个数字构成，把它转写成人能读懂的菜谱本身就是一大难题。
工作原理
深度学习模型接收输入后，经过大量参数（模型内部的数字）得出回答。可解释性研究在这一中间过程中，寻找哪些神经元或内部信号（Representation，表征）与特定概念相关联，例如“城市名称”或“谎言”。有的方法标示出哪些输入对回答影响最大，也有的方法刻意改变内部信号，观察结果如何变化。近来，试图找出模型内部信息流动“回路”的机制可解释性（mechanistic interpretability）研究十分活跃。
为什么重要
AI 越多地用于医疗、金融、法律等重要决策，就越需要能够解释“为什么这样判断”。模型表面上给出正确答案，内部却可能依赖毫不相干的线索，要发现这一点就必须查看内部。它也有助于找出并修正幻觉、谄媚、奖励黑客等问题的原因。因此，可解释性被视为让 AI 更安全的对齐研究的核心工具。
注意事项
当今的大模型过于庞大复杂，目前还远未达到完全理解其全部内部的程度。模型自己给出的解释（例如以 CoT 写出的思考过程）也无法保证与实际内部计算一致。此外，模型内部并不能像“这个神经元对应这个概念”那样清晰划分，常常是一个部分同时负责多个概念，因此解释起来很棘手。所以，把解释结果当作“部分线索”来看待更为稳妥。
示例
AI 研究公司通过可解释性研究，在大语言模型中找出对特定概念产生反应的内部信号，并公开了刻意增强或减弱这些信号后模型行为如何变化。企业则在贷款审核、异常交易检测等需要承担解释责任的服务中，运用可解释性技术来展示模型依据哪些输入项做出判断。