蛋白质语言模型中预训练数据过滤的效果与持久性

问题

公开权重的模型即便加上安全防护，也容易被微调解除。其中，在预训练阶段就把危险数据完全剔除的「数据过滤」被认为是最难逆转的方法。但迄今的研究以通用 LLM 为主，在蛋白质语言模型这类生物学专用模型上尚未得到验证。这类模型通常以开放权重发布，体量也小、易于修改，一旦被滥用，可能被用于设计危险病原体。

方法

以 ESM-2 架构预训练了从 8M 到 3B 的五种规模的模型。把剔除范围分为若干层级（tier）：tier 0 剔除所有病毒蛋白及其同源物，tier 1 剔除所有病毒，tier 2 剔除感染真核生物的病毒，tier 3 进一步收窄到感染人类的病毒。使用 UniRef50 2021_04 的代表序列，所有条件下都同样训练 15 万步、约 315B token。评测有三项：掩码语言建模损失、ProteinGym·EVEREST 突变效应预测（Spearman 相关）、长程接触预测（线性探针）。随后用此前剔除的序列进行微调，每 500 步重新测分，并把达到未过滤模型水平时的计算量换算为 exaFLOPs 和 H100 成本。

结果

• 过滤只降低了病毒蛋白上的性能，非病毒性能保持不变。非病毒的变化为 ±0.008 nats，在 ±0.02 nats 范围内与 0 统计等价（TOST，p<3e-12，n=3,000）。
• 模型越大，过滤的效果越大。在突变效应预测中，从 8M 扩大到 3B 时，未过滤模型的病毒 Spearman 提升了 +0.196，而 tier-1 过滤模型只提升了 +0.071。非病毒方面为 +0.232 对 +0.231，几乎相同。
• 效果集中在感染人类的病毒，尤其是 Retroviridae。在 3B tier-1 模型中，Retroviridae 占整体语言建模性能下降的约 77.5%；在突变效应预测中，它也是唯一下降确凿的科（-0.342，n=6，95% CI [-0.481,-0.203]）。
• 用此前剔除的序列进行微调后，性能完全恢复。最昂贵的 3B 语言建模恢复为 14~24 exaFLOPs，按 H100 计为 12~20 小时，按每小时 4 美元计为 47~79 美元。
• 在长程接触预测中，tier-1 过滤同样降低了 35M 以上模型的病毒性能（150M/650M/3B 分别为 -1.58、-1.70、-2.80 个百分点），而 650M 和 3B 的非病毒性能反而略有上升（+0.73、+0.60 个百分点）。

局限

恢复实验以攻击者能够获得被剔除的病毒序列为前提，实际可获得性可能不同。恢复成本只按 500 步的间隔测量，因此以区间报告；3B 只有 4 个检查点，区间较宽。评测使用的是语言建模、突变效应和接触预测这些代理指标，与实际病原体设计风险之间的距离没有直接测量。tier 2、3 没有在 3B 上训练。此外，成本换算是基于 34% MFU 和每小时 4 美元假设得出的值。

意义

这是少见的对开放权重生物学模型的安全防护进行定量评估的研究。「数据过滤有选择性地起作用，但并非永久」这一结论可直接用于治理讨论：模型越大过滤效果越大，但恢复成本仍停留在几十美元的水平。它成为反驳「发布前过滤即已足够」这一现行做法（Evo 2、ESM3-open）的依据。

关键术语

蛋白质语言模型（pLM）

把氨基酸序列当作文本来训练的模型。ESM-2 是用遮住部分氨基酸并预测它们的掩码方式训练的编码器模型。

预训练数据过滤

在训练之前就把可能危险的数据完全剔除，使模型不产生相应能力的安全防护措施。一般认为它比训练之后再删除的方式更难逆转。

Tamper-resistance（抗篡改性）

指移除安全防护所需的成本有多大。成本小，就意味着作为公开模型的安全防护意义不大。

Forget / Retain 域

Forget 是要降低性能的对象（此处为病毒蛋白），Retain 是需要保持性能的其余领域。好的过滤只降低 Forget。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: Aaron Maiwald, Roderick McNeill, Jaeyoung Lee, Matthew A. Clarke, Lennart Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, 等 · 发布 2026-10-19 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。