AI 术语表 · 基础 · AI 安全
OWASP LLM Top 10
OWASP LLM Top 10 是非营利安全社区 OWASP 整理的清单，列出了在使用 LLM 的应用·服务中尤其常见、影响也大的 10 类安全风险。
是什么
OWASP 是长期活跃于 Web 安全领域的非营利社区，以 Web 应用主要风险清单而闻名。随着 LLM 被广泛用于聊天机器人·智能体·搜索服务，OWASP 将现有 Web 安全清单难以覆盖的新风险单独整理出来，这就是 LLM Top 10。每一项都说明了是什么风险、攻击如何发生以及如何缓解。条目和排序会随技术变化定期修订。
包含哪些风险
代表性条目包括：欺骗模型使其忽略原有指令的提示注入；个人信息·机密混入回答而外泄的敏感信息泄露；在训练数据或模型中植入恶意内容的数据·模型投毒。未经检查就把模型输出交给其他系统所引发的问题，以及给智能体过多权限所导致的过度自主也在其中。此外还涵盖系统提示泄露、向量数据库·嵌入的弱点、看似可信的错误信息、让系统无休止消耗资源的无限制消耗，以及通过外部模型·库带来的供应链风险。具体条目名称和顺序可能因版本而异，最好查看最新版。
按代表性条目整理的检查问题
输入·数据
- 是否会被提示注入欺骗
- 训练·检索数据是否被污染
- 向量数据库·嵌入是否存在弱点
输出·信息
- 回答中是否混入敏感信息
- 系统提示是否会泄露
- 输出是否经检查后再交给其他系统
- 是否有过滤错误信息的机制
权限·运维
- 智能体权限是否仅限所需
- 是否防止无休止地消耗资源
- 是否核实了外部模型·库的来源
为什么重要
构建 LLM 服务的团队往往不是安全专家，很容易不知道该从哪里开始检查。这份清单成为开发者·安全负责人·产品策划人员用同一套语言讨论风险的共同标准。安全检查表、红队场景以及护栏产品说明，常常以这份清单的条目为基准。
须知
这份清单只是挑出了“最常见、最重要的”风险，并未囊括所有风险。每个服务处理的数据和权限不同，风险大小也不同，因此需要根据自身服务重新确定优先级。另外，能单独防住某一项的单一方案很少见，通常的做法是将权限最小化·输入输出检查·监控层层叠加。
示例
在上线检索内部文档作答的 RAG 聊天机器人之前，安全团队常以 OWASP LLM Top 10 的条目为检查表进行审查。例如逐项测试：“能否通过藏在文档里的指令操控聊天机器人（提示注入）”“无权限的员工能否在回答中看到人事资料（敏感信息泄露）”“聊天机器人是否会不经确认就使用发送邮件之类的工具（过度自主）”。