午后简报 · 16:00
内存与选址:AI基础设施的瓶颈
作者 · bombong
阻碍AI基础设施扩张的已不只是GPU。下午传来的消息中,既有拓宽内存供应来源的动向,也有围绕数据中心选址的困难。大西洋两岸地方反对声浪日益高涨的消息也接连传出。
GPU之后的瓶颈是内存
如果说上午的文章讨论的是将智能体引入实际业务的条件,那么下午的消息则把目光转向了运行这些智能体所需的基础设施条件。最直接的信号来自内存。The Information援引两名知情人士的话报道称,TSMC应其最大客户NVIDIA的要求,已开始制定下一代3D DRAM的生产计划36。报道称,其背景是AI芯片需求增长导致内存短缺,DRAM价格大幅上涨。
这篇报道之所以重要,是因为它表明左右GPU供应的因素正从计算芯片转向与之搭配的内存。如果晶圆代工厂(代工制造企业)进入内存制造商高度集中的市场,GPU供应链的构建方式也可能随之改变。
拓宽供应来源的动向在中国也有体现。Moore Threads表示,其MTT S5000 GPU和MUSA软件可在Kimi K3.1 Pro发布当天即提供推理服务40。此前,Huawei Ascend和Alibaba Cloud SuperPoD也宣布了发布首日支持。不愿只依赖单一算力供应商的趋势,正在各地区以不同形式显现。
芯片之外的壁垒:选址与舆论
即使拿到了芯片和内存,还需要安置它们的土地、电力以及当地的认可。据TechCrunch报道,Crusoe已将陷入困境的怀俄明州数据中心项目转让给Google37。大型数据中心开发越困难,此类资产就越可能向资金实力雄厚的企业集中。
舆论也正成为变数。OpenAI CFO莎拉·弗莱尔在接受CNBC采访时表示,即便一直反对数据中心建设的民主党在中期选举中大胜,OpenAI仍将维持基础设施扩张计划38。弗莱尔称,为确保算力资源,将继续与当地社区建立关系。OpenAI的立场是,AI需求使投资不可避免。
据报道,在欧洲,来自16个国家的100余个公民团体发起联合行动,要求停止建设数据中心39。6日,阿姆斯特丹的Microsoft数据中心施工现场发生了抗议活动。反对运动已从一国蔓延至多国,这意味着审批进度影响海外扩建计划的可能性增大。
尚未证实之处与需求侧的应对
不过,要对这一趋势下定论仍存在空白。TSMC进军内存只是援引知情人士的报道,是否真正开展业务、时间表和规模如何均未公开,两家公司也未正式证实。Crusoe的交易同样未披露出售金额和项目受阻的原因,仅凭这一个案例难以判断整个行业的状况。
也有信号表明,增加供应并非唯一的解决办法。据社区摘要,DoorDash表示,其不再使用LLM内置的网页搜索,而是接入独立的搜索API网关(多个智能体共用的中转层),在保持准确率不变的情况下,将搜索费用降低了98%以上45。该数字不包括模型推理成本。尽管如此,这表明基础设施约束越大,通过调整架构来减少同等资源消耗的价值也随之越大。
对从业者而言,这意味着AI部署计划并不止于获取模型或GPU。内存价格、数据中心审批乃至调用架构的效率,都会影响成本和进度。接下来需要关注TSMC和NVIDIA是否会正式确认3D DRAM计划,以及美国和欧洲的地方反对是否会实际拖慢扩建进度。以大规模基础设施投资为前提的OpenAI融资轮最终以何种条件完成,也值得一并关注。
本文借助 AI 撰写,包含个人观点。
早间简报 · 08:00
智能体迎来权限与衡量的考验
作者 · bombong
人们对AI智能体的关注,正从“有多聪明”转向“能否引入实际业务”。今天,多家公司发布了类似的内容,涉及决定智能体代表谁行事的权限、衡量结果的方式,以及承担判断工作的模型。
运营规模的智能体所需的权限设计
随着智能体承担实际业务,最先显现的课题是权限。AWS发布了一份实现指南,将Okta Cross App Access与Bedrock AgentCore结合,管理哪个智能体可以代表哪个用户13。在企业规模的配置中,以AgentCore Gateway作为单一入口,并通过Cedar策略将工具绑定到智能体。允许与拒绝记录在CloudWatch中追踪。其背后的问题意识是:仅靠各应用的OAuth或服务账号,难以处理“代表用户的行为”。
这类机制为何必要,可从运营案例中看出。Greenlight Financial在AgentCore之上构建了分层多智能体系统Luna来处理安全与风险案例。公司表示,每月最多4000件案例中有90%以上无需人工介入即可解决14。Taxbit介绍了一款将出处标注、按角色和地区设置的安全防护以及生产流量中的质量衡量结合在一起的助手20。金融和税务这两个受监管领域的案例,都把控制与追踪放在性能之前。AWS表示,在开发Amazon Quick的过程中,相同的构件被换个名字反复实现,因此将其整理为触发器、智能体、能力和习得上下文四类21。这表明智能体正从单个功能过渡为需要管理的平台。
衡量与判断也成为独立的一层
如果说权限关乎“允许它做什么”,那么另一些公司已开始单独衡量“做得有多好”。OpenAI发布了基准BioBasicsBench,衡量智能体处理湿实验(wet-lab,直接操作试剂和样本的实验)工作的能力,共有100项任务1。它主要考察对未经处理的实验数据的解读而非知识问答,是评估单元转向实际工作的案例。GitHub在Copilot使用量API中新增了显示审查意见采纳程度的项目,还增加了标出遥测缺失用户的字段23。方向是看结果是否真正被采用,而不只是是否引入。
在判断环节使用专用模型的动向也同时出现。Ollama v0.40.15开始支持决策模型AutoTrust,该模型接收问题后返回选项、是/否概率和分数15。Nace AI发布了决策模型Drex系列的技术报告。Drex无需解码,一次运行即可输出各选项的概率分布24。将路由和评估环节从生成式LLM中分离出来,更容易以数值形式留下判断依据。
针对运行环境的调整也处于同一脉络。Hugging Face介绍了Harness Adapters,即根据所用harness和任务训练LoRA适配器的方法9。其背后的认识是:即便是同一个模型,结果也会因运行框架不同而不同。
未经验证的数据与尚存的空白
不过,现在就认为这一趋势已经确立还为时过早。Greenlight的自动解决比例是公司公布的运营数据。从摘录来看,BioBasicsBench也尚未确认各模型得分和数据集公开方式。Nace AI的排名同样是公司的说法。衡量机制的增加与这些衡量能否经过外部验证,是两回事。
界定智能体行为范围的标准也仍在调整中。据报道,Anthropic因被批评过度阻止游戏开发请求而修改了Claude Opus 5.5的指南:禁止原样复制现有游戏,但允许制作同类型的新游戏19。拒绝标准正在使用经验中被重新划定。另有报道称,安全研究人员发现托管渗透测试工具Artex的数百台服务器公开暴露在互联网上16。Boson AI介绍了在说话时也能在后台调用工具的全双工语音模型Higgs Realtime Duplex3,但其API仍处于候补名单阶段,性能尚未经外部确认。随着同时进行对话与任务的智能体增多,权限与记录的设计可能会变得更加复杂。
对于考虑引入智能体的企业而言,需要权衡的重点正从模型性能表转向委托权限、结果衡量和判断记录的设计。接下来值得关注三点:BioBasicsBench各模型的结果及数据是否公开,Higgs Realtime Duplex API开放后的实际延迟,以及运营案例公布的自动化比例能否经过外部验证。
本文借助 AI 撰写,包含个人观点。
社区热议 5
Reddit、Hacker News、GeekNews 等社区广泛讨论的话题。这些是社区反应,可能包含未经核实的说法。
- AI加速AI研究 一篇称“AI正在大幅加快AI研究”的帖子在Reddit和Hacker News上同时引发热议。相反,GeekNews上有人分享经验称,AI遗漏重要文献、反复进行无意义的实验,研究判断力不足;Reddit上的一项实验则称,模型虽能读取并修改权重,但微调20步后修改就会被抹去。
- 本地LLM黄金期 有帖子称,得益于Qwen 27B、Flash-Next以及Unsloth Dynamic v3.1量化,本地模型已接近前沿水平。另有帖子称借助Open WebUI 0.13.0的虚拟桌面控制,QFN 3.8用鼠标在画图程序中画出了一只狗;还有帖子提到llama.cpp提交了改进MoE专家缓存的PR,也获得了关注。
- 下一代模型发布传闻 援引The Information称“ChatGPT Astra 6.2可能今天发布”的帖子广泛流传,但也有帖子抱怨GPT-6.2、Fable 5.5和Qwen 4本周都没有发布。称1亿token上下文即将到来的猜测帖也在流传。
- AI怀疑论蔓延 Simon Willison引用的Nilay Patel的言论(产品还不够好,不足以证明其成本合理)引发讨论。同时被分享的还有一篇称大学图书馆饱受AI爬虫机器人困扰、公共访问受到威胁的报道,以及一篇GeekNews帖子,称广告和垃圾信息都变得像AI诈骗。
- 用Claude制作实物 一篇帖子称Claude用机械臂花4.5小时画了一棵水彩树,并自行调配了缺少的颜色;另一篇帖子称Claude亲自编写了SolidWorks的MCP连接器,几分钟内就完成了零件建模,两者都受到关注。