专题深读 · 2026-11-19 · 进阶 · 作者 bombong
模型指纹:通过权重和输出识别LLM的来源
模型指纹是通过权重、内部计算和输出模式来确认“这个模型从何而来”的技术。它分为预先植入标记的方式和读取模型固有特征的方式;近来的核心争议在于抵御攻击的能力,以及在实际审计环境中出现的误判。
- 模型指纹是识别模型本身来源的技术,与追踪生成文本的文本水印目的不同。
- 主动式指纹通过微调植入标记,内在式指纹则读取权重谱、逐层计算轨迹等模型固有的结构。
- 抵御普通变换(微调、量化、合并)与抵御刻意抹除指纹的对手是两个不同的问题。已研究的10种方法全部被自适应攻击攻破。
- 近期研究从“是否相关”进一步转向“谁是父模型”,并开始处理实际审计场景,例如API中转商在对话中途偷偷更换模型。
- 在实践中,不应依赖单一指纹,而应结合白盒与黑盒证据,并单独核查误报率。
为什么需要模型指纹
LLM(大语言模型)的构建成本很高,一旦公开或泄露,任何人都可以修改权重并重新发布。TrFP研究(paper)指出,未经授权获得的权重很容易被改动,因此难以确认来源。随着开放权重检查点的公开和复用日益增多,用于所有权保护和事后审计的模型指纹变得愈发重要,这一观点(paper)也出于同样的背景。
这里常被混淆的是它与文本水印的区别。LLM版权保护综述(paper)指出,以往的梳理主要集中在“追踪模型生成文本的技术”,即文本水印上,而保护模型本身的技术(模型水印和模型指纹)尚未得到系统整理。该综述将模型水印纳入更广的指纹框架,统一了术语。本文也沿用这些术语。
问题的形式也多种多样。“这个可疑模型是否派生自我们的模型”(派生检测)、“这个学生模型是否通过蒸馏我们的API输出而得到”(蒸馏检测)、“API承诺的那个模型是否真的在回答”(身份验证)各是不同的问题。可获取的信息也不同:能直接查看权重的是白盒场景,只能看到查询和响应的是黑盒场景。
另外,本次资料中没有通过权重识别“在何种硬件上训练”的研究。因此本文只讨论确认来源和派生关系的方法。
核心思路:植入的标记与天生的指纹
打个比方,有两条路径。一种是在物品上刻序列号。出厂前植入标记,日后容易查找,但刻标记本身会稍微改变物品,也可能被人磨掉。另一种是读取原本就有的特征,就像人的指纹或虹膜。无需事先做任何事,但特征必须足够鲜明,才不会把相似的人混淆。
第一种是主动式指纹。正如综述(paper)和P2F(paper)所述,现有的主动式方法通过微调将身份信号植入模型。典型代表是基于后门的指纹,即训练模型对特定问题(触发器)给出预定答案。其准确性和鲁棒性较高,但P2F(paper)指出,每个身份都需要单独进行昂贵的训练,因此可扩展性较差。
第二种是内在式指纹。它不修改模型,而是从权重或内部计算中提取特征。TrFP(paper)解释说,这种方式无需修改模型或植入所有权信息即可保护所有权。代价是两项要求相互冲突:直接比较权重的指纹在模型被改动后容易失效(鲁棒性问题),而比较内部表示的指纹可能把无关的模型也判定为相似(唯一性问题)。
归根结底,设计是在“预先改变什么”和“能访问什么”之间做选择。主动式预先付出成本,换来黑盒验证;内在式无需事先准备,但通常需要访问权重或内部计算。只看输出的黑盒统计方法介于两者之间,接受证据变弱的代价。
获取指纹的三种方式
主动式预先植入标记
- 通过微调等方式改动模型
- API 背后的模型也能通过查询确认
- 每个身份都有训练成本
- 存在质量下降和移除攻击风险
内在式读取模型固有结构
- 不改动模型
- 需要访问权重或内部计算
- 鲁棒性与独特性之间的取舍
输出统计式仅凭响应进行判定
- 访问条件最宽松
- 用于检测蒸馏关系
- 易受对话历史和解码设置影响
공통 三者最后都通过相似度或统计检验判定来源
工作原理
主动式指纹分三步运作。先在原始模型中植入标记(微调、水印蒸馏等),然后发布该模型,再向可疑模型发送查询,检查标记是否出现。水印蒸馏方法将统计水印信号植入权重,使得即便模型位于黑盒API之后也能被识别(paper)。P2F(paper)改变了植入环节:专用生成器接收描述身份的文本,通过一次计算生成低秩参数增量,因此无需为每个身份重新训练。
内在式指纹按读取对象的不同而分类。权重谱指纹(paper)汇总门控前馈层GATE投影权重的奇异值(表示矩阵在各方向上拉伸程度的值)分布,并按深度区间汇聚逐层特征,形成模型级指纹。由于不逐层对齐比较,深度不同的模型之间也可以比较。它完全不需要输入样本、生成结果或前向激活值,也无需训练。TrFP(paper)不直接比较权重或表示,而是将表示在各层之间的变化视为轨迹,并用不受神经元顺序调换影响的汇总值构建指纹。
多模态模型的情况更复杂。多个模型共用同一语言骨干,现有的来源确认方法容易混淆。AttnPrint(paper)只提取图像与文本之间交叉注意力分布的低频成分作为指纹。在只能看到输出的场景中,同一研究中的DistillTrace对模型输出进行假设检验,寻找蒸馏关系的证据。
无论哪种方式,最后都要计算两个指纹的相似度,并与阈值比较,判定“是否属于同一谱系”。例如,谱指纹用线性CKA(衡量两个表示相似程度的指标)计算相似度(paper)。如何控制这一判定中的误报,是后文将讨论的核心争议。
发展脉络:构建方与破解方
2025年的综述(paper)整理了分散的技术。它梳理了从文本水印延伸到模型水印和指纹的概念,对指纹技术进行了分类和比较,并首次整理了指纹迁移和移除技术。评估指标方面,它提出了有效性、无害性(是否损害模型性能)、鲁棒性、隐蔽性和可靠性。此后的研究大体上都是在其中某一项指标上进一步提升。
同一时期,破解方的研究抬高了标准。《鲁棒的指纹在对抗下也鲁棒吗》(paper)指出,现有评估只考虑了追加微调、模型合并、提示修改等普通变换。该研究建立了假设恶意模型托管方的威胁模型,并用自适应攻击攻破了近期提出的10种指纹方法:在保持用户侧性能的同时完全绕过认证。抑制攻击研究(paper)针对多个LLM协同使用的集成场景,通过TFA(每步解码只从共同token集合中选择下一个token)和SVA(通过困惑度和投票过滤指纹响应),在抑制后门指纹响应的同时保持了集成性能。
2026年“构建方”的研究从不同方向弥补这些弱点。P2F(paper)处理主动式的成本问题,水印教师再审视研究(paper)处理质量与检测能力之间的权衡。后者指出,现有协议低估了开放式生成中的质量下降,因而使过强的水印显得更有利。由于指纹验证可以汇总多个查询的信号,信号可以植入得更稀疏。因此它提出了near-tie限制:只对与基础模型首选预测logit差距较小的token施加水印。内在式方面,TrFP(paper)报告称能抵御微调、剪枝、量化、模型合并、参数重排和自适应攻击,指纹存储空间不到0.3MiB。AttnPrint(paper)在19种多模态架构的154个模型实例上进行了实验,并能抵御五种下游变换。
最新趋势
第一,问题正从“是否相关”转向“谁是父模型”。Witness Overlap(paper)指出,现有的来源确认大多依赖表示、权重、行为相似度等对称证据。仅凭A与B相似,无法判断哪一方在先。该研究把同一谱系的第三个检查点作为“证人”,依据周边的几何结构判断两个候选中哪一个更像分化出来的父模型。在16个谱系的176个检查点上,仅用一个证人就正确判定了95.3%的父子关系。在开放权重模型经过微调、对齐、合并后再次发布的生态中,这一方向可用于绘制谱系图。
第二,研究开始处理实际审计环境中的陷阱。传染性指纹研究(paper)分析了API中转商在对话前段用客户付费的模型回答、其余部分偷偷转给更便宜模型的情况。接手的模型会模仿前面对话的文风,从而继承前一模型的指纹。结果,文本分类器对替换模型的检测率在DeepSeek替代Claude Sonnet时从0.97降至0.72,在降级为同一公司的Haiku时从0.87降至0.54。反过来,诚实的模型在长对话中也会偏离自身指纹。用新对话校准的主动探针在长上下文中以最高1.00的比例把诚实模型筛掉。该研究诊断认为,两种失败都源于将“随对话历史变化的回答”与“不含历史的基准”进行比较。作为替代方案,Lineup在相同的对话历史下用声称的模型采样基准回答,并依据被审计回答在其中的排位进行检验。在两个闭源模型上,误报率为0.056。
两项研究传达的信息相同:实验室条件下的高准确率并不能保证实际审计场景中的判定能力,按照审计场景设定比较基准的设计至关重要。
近期研究中值得关注的数字
局限与争议:实践中需要考量的问题
最大的争议是威胁模型。能抵御微调或量化的结果,说的是“无意改动”的情况。对抗鲁棒性研究(paper)的结论是,面对了解指纹方法并试图抹除它的对手,需要另一套标准;该研究建议从设计阶段就考虑对抗鲁棒性。后门指纹在集成这类会过滤响应的配置中可能被抑制(paper)。阅读评估报告时,首先要确认假设的是什么样的攻击者。
第二是权衡。主动式指纹会改变模型,因此有无害性成本;水印施加得越强,检测越容易,但文本质量会下降(paper)。内在式指纹不改变模型,但往往需要访问权重或内部计算,因此难以直接用于隐藏在API背后的模型。基于输出的方法访问条件最宽松,但会受对话历史、解码设置等环境影响(paper、paper)。
第三是误报。如果凭经验设定相似度阈值,情况一变就可能怀疑诚实的模型。在所有权纠纷、合同违约判定等结果会影响个人和组织的场景中,应单独报告误报率,不能仅凭单一指纹结果下结论。
常见错误有三种:把文本水印检测器直接当作模型来源的证据;在共用同一骨干的多模态模型中只比较语言部分就判定为“同一模型”(paper);以及仅因相似度高就断定派生方向(paper)。
采信指纹结果前的检查
威胁模型
- 只测试了普通变换,还是也测试了自适应攻击
- 是否考虑了集成和响应过滤的配置
访问条件
- 能否访问权重,还是只能看到 API
- 如果是多模态模型,是否会因共享骨干网络而混淆
判定
- 是否单独确认了误报率
- 标准是否按审计情境(对话历史等)设定
- 是否没有仅凭相似的结果就断定派生方向
延伸学习
初学者最好先通过综述(paper)掌握术语和评估指标。先厘清文本水印、模型水印和模型指纹之间的关系,就能看出后续论文各自属于哪个类别。接着阅读对抗鲁棒性研究(paper),就能知道应当如何看待“鲁棒”的说法。
若要按方式深入了解,主动式可以读P2F(paper)和水印教师再审视研究(paper),从中可以看到成本与质量两条主线。内在式建议将权重谱指纹(paper)与TrFP(paper)对照阅读,比较权重、表示、轨迹中比较哪一项会如何改变鲁棒性和唯一性。多模态可以看AttnPrint·DistillTrace(paper)。
如果关注实际审计场景,推荐传染性指纹研究(paper)和Witness Overlap(paper)。前者讨论API身份验证的陷阱,后者讨论开放权重谱系的方向判定。
相关术语
参考资料
奠基论文
- Copyright Protection for Large Language Models: A Survey of Methods, Challenges, and Trends (2025)
- Prompt2Fingerprint: Plug-and-Play LLM Fingerprinting via Text-to-Weight Generation (2026)
- Language Model Fingerprinting Requires Rethinking Watermark Teachers (2026)
- Fingerprinting Multimodal Large Language Models (2026)
- From Representations to Computational Trajectories: Intrinsic Fingerprinting for Large Language Model Provenance Verification (2026)
- Model-intrinsic, Weight-level, and Training-free Spectral Fingerprinting for Large Language Models (2026)
- Are Robust LLM Fingerprints Adversarially Robust? (2025)
- Inhibitory Attacks on Backdoor-based Fingerprinting for Large Language Models (2026)
最新研究
由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。