早间简报 · 08:00
AI自我改进与感知的空白
AI提升AI发展速度的说法,如今已不止于展望,而是出现在信息披露和实验中。据报道,正在筹备上市的Anthropic在投资者文件中将自我改进加速列为风险因素。一篇研究博客称,一个模型在无需训练的情况下直接修改了另一个模型的权重。然而,同一天的其他消息也表明,能够实时察觉并解释这些变化的机制仍然不足。
自我改进进入披露与实验
自我改进加速开始进入企业的法定披露。据TechCrunch报道,Anthropic在向美国SEC新提交的文件中警告,其已非常接近RSI(Recursive Self-Improvement,即AI主导自身训练、使能力提升加快的现象)能力1。据所传内容,公司表示下一代模型可能很快在AI主导的研究推动下达到发展速度翻倍的门槛。如果这样的表述被写进向投资者披露的风险因素,可以认为安全讨论已从实验室延伸到法律责任领域。
研究方面也出现了同一方向的信号。一篇题为“Sparks of Weight-Space Programming”的博客文章发布了早期实验结果,称GPT-6 Astra无需梯度下降即可读取和修改神经网络权重2。据文章所述,仅修改Qwen3.5-0.8B 0.016%的权重,MATH-500得分就从7.9%升至48.1%,IFEval得分从21.0%升至62.3%。研究人员还称,在没有环境反馈的情况下一次性编写的MinAtar游戏小型神经网络,比用PPO训练1亿步的神经网络玩得更好。模型不经训练循环即可编辑其他模型的说法,与Anthropic在披露中写下的加速情景直接相关。
进入开发循环的模型
权重编辑仍处于实验阶段。相比之下,由AI构建和打磨AI系统在实践中已日渐普遍。AWS介绍了在SageMaker AI中利用SeqKD(序列级蒸馏)将前沿教师模型的智能体行为迁移到小型学生模型的方法12。在这种结构中,大模型的行为成为构建小模型的素材。Microsoft与UC Berkeley研究人员发布了TokenEconomizer。该插件不改动模型,而是复用先前任务获得的信息,研究人员称其将编程智能体成本最多降低了30.9%6。
基础设施需求也随之变化。据报道,Amazon自研芯片业务保持三位数增长,Graviton和Trainium的合同规模增长逾20倍3。报道将其背景归因于CPU在处理强化学习和智能体工具调用中的占比上升。这意味着模型自行尝试并获取反馈的计算量正在增加,也表明前一节的自我改进讨论与实际设备需求相互关联。
感知与解释仍然滞后
加速的信号越清晰,察觉加速的手段的局限也越明显。据报道,Anthropic在文件中承认,即使加速正在发生,也可能无法实时察觉,而是事后才知晓。Google DeepMind与斯坦福大学研究人员在论文“A Heart Means Recursion”中报告了相关案例8。仅展示一张红心图片,视觉语言模型编写代码的方式就会显著改变,但模型无法恰当解释原因。这一结果表明仅凭模型的自我解释难以追踪其行为变化,这与监控自我改进的问题也有交集。
也有案例表明,若控制机制只设在一处,便容易被绕过。Cisco Talos披露的恶意软件VOLTA-AUTODOXER被设计为在某个模型拒绝分析请求时转向其他模型9。另一种做法是,GitHub将自12月2日起在公共仓库中默认阻止pull_request_target事件5,不依赖个别判断,而是以默认设置关闭风险路径。不过,今天论点的两项核心依据尚未得到充分证实。Anthropic文件的内容并非来自原文,而仅通过报道和社区摘要传出。Weight-Space Programming研究的研究人员所属机构和可复现性也无法通过公开资料确认。
企业和从业者在投入模型性能的同时,也应投资于衡量和解释变化的体系。引入智能体或蒸馏的团队,除了成本削减机制,也需要从一开始就在设计中纳入记录和验证模型行为变化的机制。仍有待确认的事项包括:Anthropic文件原文中有关RSI的表述、Weight-Space Programming研究的正式论文发表与复现结果,以及Codex中出现的GPT-6.2 Astra是否会正式发布。公共仓库维护者应在12月2日前检查Actions事件策略。