数据外泄
数据外泄(Data Exfiltration)是指未经授权的人或程序把组织内部的数据偷偷转移到外部。在 AI 时代,AI 智能体被欺骗后自行将数据发送到外部,已成为一种新的风险。
工作原理
传统的数据外泄多是通过黑客手段侵入服务器、复制文件。在 AI 服务中,通过间接提示词注入的途径受到关注。攻击者在网页、邮件或文档中埋入隐藏指令,读取这些内容的 AI 智能体就会按指令查找并读取公司内部数据。随后,它把数据附加到链接地址或图片地址中,或者调用发送邮件等工具,将数据发送到攻击者的服务器。用户在屏幕上只看到普通的回答,因此很难察觉外泄。
为什么重要
AI 智能体常常同时访问邮件、文件、数据库、网络搜索等多种工具。当“可访问敏感数据”“会读取不可信内容”“能向外发送”这三个条件集中在同一个智能体上时,外泄风险会大幅上升。客户信息或商业机密一旦泄露,带来的不仅是经济损失,还有法律责任和信任下降。因此,随着 AI 应用增多,防止数据外泄正成为安全团队的核心课题。
注意事项
仅仅指望模型拒绝攻击指令是不够的。基本做法是按照最小权限原则缩小智能体可访问的数据范围,并用允许列表限制向外的通道(外部链接、邮件发送、网络请求)。敏感操作之前应设置由人确认的人在回路环节,还要保留监控外发数据的日志。另外,“数据外泄”一词有时也泛指信息被意外公开的事故(leak),最好根据上下文确认其含义。
示例
本站收录的消息中,有报道称一起针对金融公司的“AI 黑客”事件导致 Yegaram Savings Bank 和 Welcome Savings Bank 的客户信息外泄(据称其余会员公司尚未确认有额外损失)。像这样,金融业的客户信息本身就是核心资产,因此数据外泄尤为敏感。企业在引入内部 AI 助手时,会采取阻止自动显示外部链接、让发送邮件等工具只在用户确认后才执行等设计来加以防范。