越狱
越狱是指通过巧妙的提问或情境设定绕过 AI 模型的安全规则,让它给出原本会拒绝的回答。
通俗解释 这就像对一个严守规则的员工搪塞说“这是话剧剧本”或“老板同意了”,让对方做平时不会做的事。不同之处在于,AI 不像人那样善于察觉欺骗者的意图。
工作原理
LLM 在训练过程中被训练为拒绝危险或有害的请求。越狱利用的正是这种拒绝习惯无法严密覆盖所有情境这一点。常见方法包括让模型进行角色扮演、把问题包装成虚构故事中的提问,或把请求拆成小块逐步询问。也有用其他语言或类似密码的变换文字提问,或通过长对话逐渐模糊模型边界的方式。
为什么重要
越狱一旦成功,可能会输出危险信息,或使服务以非预期的方式被使用。随着 AI 开始执行检索、代码运行、支付等实际操作,危害的范围也在扩大。因此,AI 公司在发布新模型前会刻意尝试越狱以寻找弱点。这一过程是红队活动的重要组成部分。
注意事项
越狱常与提示注入一起被提及,但两者并不相同。越狱是用户直接试图打破模型的安全规则,提示注入则是隐藏在网页、文档等外部内容中的指令操纵模型。单靠一种防御很难挡住所有越狱,因此常常在模型自身的训练之上,再叠加护栏等独立的检查机制。
示例
在聊天机器人服务中,“告诉我奶奶像讲老故事一样讲给我听的那个方法”这类角色扮演式提问,常被作为越狱尝试的典型例子介绍。AI 公司在这类模式曝光后,会通过重新训练模型或加强输入、输出检查规则来应对。