早间简报 · 08:00
离线训练场与应用权限:为智能体筑起围栏
智能体在什么环境中训练和工作、边界划在何处,正变得与智能体的性能同样重要。今天,OpenAI表示已将前沿模型的训练和评估与互联网分隔开。GitHub和AWS则推出了将自动化所用权限和智能体训练路径纳入托管架构的功能和案例。
从训练阶段就划定边界
最明确的信号来自OpenAI。OpenAI在官方博客中表示,已加强在训练和评估前沿模型时对模型的隔离措施。它引入了离线环境,并同时开展投入大量算力的红队测试(从攻击者视角寻找漏洞的评估)1。据The Verge报道,该环境中的模型不接触实时互联网,只处理预先索引和缓存的网页内容。
OpenAI表示,在新环境中,模型可以与网页内容交互,而不会有影响外部系统的风险。这一措施是在智能体入侵真实系统的事件接连曝光后推出的。作为主要研究机构首次公开从训练阶段起就切断互联网的做法,这可以视为安全措施的位置正从部署前夕提前到训练基础设施的趋势。有报道称OpenAI此前曾一度暂停前沿模型训练,这也显示出此次设计调整的分量。
同样的设计延伸到开发工具和企业平台
始于研究机构训练场的边界划定,也出现在企业实际运行智能体的层面。GitHub正式上线了以企业为单位安装GitHub Apps的功能,并扩大了API范围15。由此,在组织自动化中可将长期使用的经典个人访问令牌(PAT)替换为基于应用的权限的领域增多了。这是将智能体和自动化掌握的长期凭据迁移到限定范围权限的变化。
AWS方面的消息则显示出将训练与运营置于同一托管框架内的尝试。AWS发布了在SageMaker AI上实践MTRL(Multi-Turn Reinforcement Learning,多轮强化学习)的指南,介绍了将Wordle示例中的智能体和奖励部署到Amazon Bedrock AgentCore进行训练的完整流水线7。Bayer Crop Science则在同一AgentCore上构建了多智能体平台ADE,让育种研究人员用自然语言向分析平台提问10。该案例连五项设计决策和生产环境准备过程也一并公开。两则消息都指向由平台预先确定智能体在哪里训练、在什么边界内运行的方向。
延伸到围栏之外的接触点
不过,智能体的接触点也在以与划定边界同样快的速度扩展。GitHub推出了面向Microsoft Teams的新应用,让用户在收到仓库通知的地方即可直接用Copilot着手工作9。编程智能体的入口从IDE转向协作通讯工具后,需要管理权限的节点也会相应增加。目前公开的资料中尚未说明提供范围和订阅方案条件。
在隔离环境中的训练与现实的吻合程度,也是有待解答的问题。NVIDIA在介绍利用AI智能体在仿真中训练小型机器人Microduck穿越障碍赛道的方法时指出,仅有行走策略是不够的,还需要同时具备环境感知、保持平衡和动作调整5。同理,用缓存网页内容验证的模型行为在实时互联网上是否同样表现,仅凭这次的资料难以判断。离线环境和红队的具体运营方式也尚未公开。
对于引入智能体的企业来说,与使用哪个模型同样重要的问题,是允许它访问到什么程度。训练环境的隔离、限定范围的应用权限、托管运营平台,都是在不同层面回答这一问题的尝试。接下来值得关注的是,其他研究机构是否会公开类似的离线训练与评估架构,以及OpenAI是否会进一步披露红队运营和隔离环境的细节。