护栏
护栏是一种安全机制，在 AI 模型前后进行检查和拦截，防止模型接收或输出危险或违反规则的内容。
通俗解释 就像道路边缘的护栏防止车辆冲出路外一样，它是一道围栏，把 AI 的对话限制在允许的范围内。不过它不像真正的护栏那样坚固，遇到巧妙的尝试也可能被突破。
工作原理
护栏通常在两个位置起作用。首先，在用户输入进入模型之前，检查其中是否有有害请求或隐藏指令。然后，在模型生成的回答发给用户之前，再次确认其中是否包含个人信息、有害内容或违反公司政策的内容。检查方法多种多样，从禁用词列表这类简单规则，到专门为检查而训练的小型 AI 模型都有。
为什么重要
无论模型本身训练得多好，都无法完全杜绝越狱或失误。护栏在模型之外再加一层，以降低风险。企业将 AI 用于客户服务或内部业务时，必须遵守行业规定和公司方针，因此护栏尤为重要。当 AI 智能体操作真实工具时，护栏还用于在执行危险操作前让其停下。
注意事项
护栏设置得过于严格，连正常问题也会被拒绝，使用起来不方便。反之，过于宽松则会让危险内容漏过。检查环节增多会使响应变慢，成本也会增加。因此，每个服务在安全与便利之间找到合适的平衡，是核心课题。
示例
例如，对于检索内部文档来回答问题的办公聊天机器人，可以这样设置护栏：在输入阶段过滤掉员工询问他人人事信息的问题，在输出阶段如果回答中混有居民身份证号或联系方式等个人信息就将其遮盖。多家云服务和 AI 公司都以独立工具的形式提供此类检查功能。