AI 术语表 · 进阶 · AI 安全
模型窃取
模型窃取（Model Extraction）是一种攻击：攻击者向 AI 模型大量提问并收集回答，据此造出一个行为与原模型相似的复制模型。
通俗解释 这就像反复点名店的菜来品尝，再还原出相似的菜谱。不过，真实的攻击会自动下单，数量远超人工品尝，而且目标不是原样偷走原始菜谱，而是做出“几乎一样的味道”。
工作原理
攻击者利用 API 或网页服务这类任何人都能提问的入口。他们自动生成各种问题并大量发送，收集模型的回答（有时还包括概率分数）来构建数据集。用这些数据训练自己的模型，就能得到一个相当接近原模型行为的复制品。其原理与通过大模型的回答来训练小模型的蒸馏相同，区别在于未经许可。
为什么重要
要做出好模型需要大量数据和算力成本，因此模型本身就是公司的核心资产。一旦被复制，就等于别人以低廉代价拿走了这笔投资。此外，拿到复制模型的攻击者可以在上面随意试验，提前找出越狱或对抗样本之类的后续攻击手段。因此，模型窃取既被视为知识产权问题，也被视为安全问题。
注意事项
防御手段包括限制使用量、检测数量异常多或模式异常的提问、隐藏概率分数等细节信息，以及在使用条款中禁止以复制为目的的使用。也有人尝试在输出中加入水印，以便事后确认是否被复制。但正常用户和攻击者很难完全区分，拦得太严会降低服务质量，存在取舍问题。它有别于直接窃取模型权重文件的黑客攻击，这个术语通常指仅凭问答来模仿的情形。
模型窃取防御检查
访问控制
- 是否有使用量限制
- 是否能检测异常的提问模式
- 是否隐藏概率分数等细节信息
事后应对
- 条款中是否有禁止复制的规定
- 能否通过输出水印确认复制
示例
提供商用 LLM API 的公司，常在使用条款中加入“不得利用输出训练竞争模型”的条款。它们还会检测在短时间内大量发送相似格式问题的账号，对其降速或封禁。这些措施是为了防止有人收集 API 回答、通过蒸馏打造自己的模型，也就是防止模型窃取。