安全 AI
安全 AI 是利用 AI 更快地发现和应对黑客攻击企图、恶意代码、异常访问等安全威胁的技术。有时也同时指攻击者利用 AI 实现攻击自动化的趋势。
工作原理
企业网络和计算机中会源源不断地积累访问记录、电子邮件、已运行程序等日志。安全 AI 会先学习平时的状态，再把偏离常态的行为标记为异常信号。对于钓鱼邮件分类、恶意代码判别这类有标准答案示例的任务，则使用分类模型。最近，LLM 还承担起辅助角色，负责汇总告警、查找并归并相关日志、起草响应流程。有些系统还被设计为让 AI 智能体在限定范围内执行锁定账户等处置措施。
为什么重要
安全人员每天会收到海量告警，其中大部分无关紧要，因此很容易漏掉真正的威胁。AI 帮助排定优先级后，人就可以专注于重要事件。与此同时，攻击者也在利用 AI 生成以假乱真的钓鱼文案、自动化漏洞探测，防守方具备相近速度的必要性随之增大。因此，安全 AI 被视为一个在攻防两端同步扩大的领域。
攻击方的 AI 与防御方的 AI
用于攻击的 AI攻击者一方
- 生成以假乱真的钓鱼文案
- 漏洞探测自动化
- 修饰输入以规避检测
用于防御的 AI安全团队一方
- 检测异于平常的行为
- 告警优先级排序·汇总
- 限定范围内的自动处置
공통 双方都利用 AI 提升速度和规模
注意事项
AI 检测器既会产生把正常行为误报为攻击的误报，也会产生漏掉真实攻击的漏报。还有对抗样本之类的技术，攻击者会刻意修饰输入以规避检测。还需记住，基于 LLM 的安全工具本身也可能成为提示注入等新型攻击的目标。因此，通常建议将自动处置的权限限定在较小范围内，并在重要决策上由人进行确认。
示例
本站曾介绍一则报道：“针对金融机构的‘AI 黑客’事件…Yegaram Savings Bank、Welcome Savings Bank 客户信息泄露，其余会员机构尚未确认额外损失”。这类消息可被视为 AI 也能被用作攻击工具的案例。反过来，金融机构和企业安全团队使用的安全监控产品则主打利用 AI 发现异常访问、汇总告警并通知负责人等功能。