人在回路
人在回路(HITL)是一种设计方式,让人在 AI 处理任务的过程中介入,进行确认、批准和修改。不把一切都交给 AI,而是在每个关键节点由人来判断。
通俗解释 这类似于新员工写好报告后,必须经组长审阅并批准才能对外发出。不过,就像组长很难仔细看完每一份文件一样,如果需要人确认的内容太多,审批就容易流于形式。
工作原理
AI 在采取某个行动之前,会向人展示计划或结果,说明“我打算这样做”。人可以批准、拒绝,或指出需要修改的地方。如果被拒绝或收到修改请求,AI 会根据意见再次尝试。既可以让每一步都经过确认,也可以只挑选删除文件、付款、发送邮件等难以撤销的操作进行确认。
为什么重要
AI 有时会产生幻觉,给出看似合理但错误的答案,也可能误解用户的意图。随着 AI 智能体开始真正执行操作,这类错误可能直接造成现实中的损害。在关键时刻由人确认一次,可以大大降低这类风险。此外,人留下的修改意见也可以用作改进 AI 的训练数据。
注意事项
人工确认越多越安全,但也会相应变慢、变繁琐。因此,根据风险程度选择确认节点的设计非常重要。如果审批请求弹出得过于频繁,人会不看内容就习惯性地点击,反而可能让这道安全防线失效。
示例
编程智能体在修改代码或执行终端命令之前,通常会询问“可以执行这条命令吗?”,经用户批准后才继续。客服聊天机器人也常常把退款等敏感事务转交给人工客服,由人做最终判断。