午后简报 · 16:00
推理成本决定算力的落脚点
作者 · bombong
下午的消息显示，生成式AI的下一个课题，与其说是让模型变得多聪明，不如说是在哪里、以什么成本运行推理计算。让手机和边缘芯片运行数十B级模型的技术已经出现。云端则同时显露出实时生成服务的算力需求和GPU供应商的融资成本。
把计算下沉到设备端的尝试
如果说上午的文章是在基础设施层面寻找智能体的管控机制，那么下午的消息追问的是这些基础设施应放在哪里。首先，在设备上直接运行数十B级模型的尝试同时出现在软件和芯片两端。ModelBest公开了在手机上运行35B MoE（Mixture of Experts，每个输入只调用部分Expert的结构）模型所用技术LES的细节和代码31。该方法从闪存中提前读取下一层要用到的Expert，公司称在iPhone上达到每秒20.51个token，比基准实现快6.07倍。这一思路是在内存不足的设备上利用MoE的稀疏性来掩盖存储延迟。
韩国方面，DEEPX表示已完成基于Samsung Electronics 2纳米工艺的生成式AI芯片DX-M2的设计32。公司提出的目标是以低于5W的功耗，每秒10至30个token的速度运行200亿至1,000亿参数的模型。两条消息的出发点不同，但指向同一方向：不依赖云端，在设备内完成推理。
云端显露的算力代价
在设备端把计算往下沉的同时，云端租用算力的成本也逐渐显露。World Labs以研究预览形式发布了Frameboy，用户可以实时漫游由世界模型Atlas生成的虚拟空间33。用户每次移动摄像机，都会生成新视角的场景。公司方面表示，可在云端GPU上每秒最多生成15帧并传送到浏览器。从展示预先生成的场景转为每时每刻实时生成，用户使用多久，GPU算力就要持续消耗多久。
供应这些GPU一方的融资环境也值得一并关注。CNBC报道称，GPU云企业CoreWeave的公司债收益率已超过16%34。由于收集的资料中没有债券期限和计算基准，解读存在局限。不过，债券收益率反映的是投资者要求的风险补偿。因此可以认为，云端算力供应方的成本结构也已成为设计服务时需要考量的变量。
更多算力并非答案
不过，不能只把这一趋势看作节省算力的问题，因为用更多算力并不意味着结果会相应变好。Anthropic称，Claude Fable 5.2和Mythos 5.2在科学研究智能体评测中最高取得75.3%，在机器人仿真评测中取得64.9%29。Fable 5.2的推理强度可在low到max五个档位中选择。Simon Willison测试生成鹈鹕SVG时，最佳结果出现在xhigh档；在max档，模型用掉12.8万个思考token后仍未输出图像。这只是个人的一次测试，难以推而广之。但它表明，推理强度也和成本一样，需要按任务来选择。
还需指出，今天出现的不少数据尚未经过验证。ModelBest的速度是公司自行测得的数值，DEEPX的性能则是目标值和仿真结果。DEEPX发布的仿真结果显示，结合使用PIM（在存储器内部进行运算的半导体）可将Llama3.1-8B的吞吐量提升至6.7倍，但同时表示功耗也会增至2.7倍。在速度、功耗和质量之间牺牲哪一项，目前尚无定论。
从今天的消息中，从业者可以得到的启示是：算力部署设计如今已与模型选择同等重要。哪些任务在设备端完成、哪些发送到云端、推理强度提到多高，共同决定了成本与质量。接下来有三点需要确认：社区关于Fable 5.2单任务成本高于5.1的不满，能否被token用量的增加所证实；DEEPX能否在明年3月的首批硅片上复现目标性能；LES的公开代码在其他设备上能否达到相近的速度。
本文借助 AI 撰写，包含个人观点。
早间简报 · 08:00
智能体能力增强，刹车装在基础设施上
作者 · bombong
智能体的能力越强，用于约束它们的机制就越多地被放在访问权限和执行基础设施上，而非模型内部。今天同时出现了三条消息：被投入密码分析的智能体、按用户区分开放同一模型的供应方式，以及能叫停整个研究基础设施的中央停止装置。三者指向同一个方向。
能力越广，越要分级开放访问
智能体开始在安全等高风险领域取得成果。据报道，Google DeepMind在X上表示，其将接受研究人员监督的AI智能体投入1024位RSA分析，得到了两项结果3。一是可能导致数字签名伪造的弱点，二是降低同时分解多个密钥成本的算法。另有说法称成本可降低约30倍，但具体条件未经证实。即便如此，这对仍在使用此长度密钥的遗留系统而言，也是需要排查的信号。
对于如何推出此类能力，Anthropic选择了区分供应渠道的方式。据社区整理，Claude Fable 5.2与Mythos 5.2使用相同的基础模型。不同的是，Fable在加装网络安全和生物学安全防护后面向公众开放，而Mythos只向通过审核的安全和生物医学研究机构开放1。这意味着风险管理不只取决于模型本身的特性，也取决于谁在什么条件下使用。Fable 5.2发布当天即上线Amazon Bedrock和GitHub Copilot。GitHub介绍称，它可用于大型代码库中多步骤的编码任务。通用版本扩散得如此之快，安全防护装在哪里就变得更加重要。
停止装置进入基础设施和工作流
如果说分级开放访问是供应环节的管控，那么执行环节的管控正在进入基础设施内部。OpenAI介绍了名为“Control Room”的内部系统。据介绍，该系统可集中追踪研究基础设施上运行的模型任务，并在出现安全或安保问题时迅速停止相关任务2。值得注意的是，这次公开的是内部运营体系，而非销售产品。可以将其看作一个信号：模型直接运行的研究任务越多，停止按钮就越会成为运营的基本要素。
企业现场的工作流中也能看到同样的思路。CrossnoKaye在Bedrock AgentCore的隔离沙箱中执行可验证的Python代码，并称借此为工厂工程师提供可核查的答案而非猜测20。据报道，Google开源的EGM插件要求在编写代码前先生成设计规范，再由不了解先前对话的另一个智能体单独审查该规范9。GitHub secret scanning将查找泄露密钥的范围扩展到Actions工作流日志，该功能以公开预览形式推出8。三个案例都没有直接信任智能体的输出，而是用隔离的执行环境、独立审查和日志监控把智能体包围起来。
模型外部管控触及不到的地方
不过，现在就认为仅靠外部装置已经足够还为时过早。据报道，Anthropic等机构参与的研究团队发表论文称，只需污染0.1%的预训练数据，就能在基于该模型构建的智能体中植入远程代码执行（RCE）后门10。即使用干净数据重新进行微调和强化学习，后门也没有消失。据称，模型平时运行正常，只在特定条件下发出恶意指令。如果问题隐藏在权重之中，停止装置和沙箱或许能减少损害，却无法消除根源。
也有尚未确认的部分。DeepMind成果的具体条件尚未通过官方资料证实。Fable的安全防护在各个部署渠道中实际如何运作，也未经外部验证。管控层级增多的趋势很明确，但每一层实际能挡住多少，是需要单独评估的问题。
对从业者而言，今天的动向意味着很难仅凭性能比较来决定是否引入智能体，还需要综合考虑访问权限划分、隔离的执行环境、不共享上下文的审查、日志监控以及基础模型的数据来源核查。眼下需要确认的是Claude Fable 5.2单个任务的实际成本。有整理称官方单价已下降，但社区中有反馈称单个任务成本高于5.1。有必要亲自测量token用量是否增加。
本文借助 AI 撰写，包含个人观点。
社区热议 6
Reddit、Hacker News、GeekNews 等社区广泛讨论的话题。这些是社区反应，可能包含未经核实的说法。
- Fable 5.2第一印象 发布后基准测试表格和使用心得大量涌现。HN上有帖子称其Artificial Analysis得分65，创历史新高；除了“差距正在拉大”的反应外，还有关于Pro用户额度重置和为期一周促销的讨论。
- Fable 5.2单个任务成本 有用户抱怨，虽然token单价下降，但完成一个任务的成本比5.1更高。也有帖子称已开始寻找团队级token管理工具。
- Fable 5.2科学与数学案例 社区流传着1000个Fable 5.2智能体在30小时内完成费马大定理形式化、Claude解决了两个黑洞物理学未解问题等说法。用3行提示词做出游戏的演示帖也广泛传播。
- Muse Ember闭源争议 GeekNews整理称，Muse Ember支持100万token上下文和多模态输入，以约三分之一的成本取得接近Haiku 5.5的分数。LocalLLaMA上则持续有批评称，与开源承诺相反，Meta只发布闭源模型。
- Artificial Analysis偏向争议 LocalLLaMA上有观点认为，每当开放权重模型追上来时，Artificial Analysis就会重新调整指标，压低其排名。
- Gemini个人数据人工审查 一个称Gemini会将个人Drive文件和电子邮件发送给人工审查员的GitHub仓库在HN上引发强烈反响。社区中也有人表示这正是应该使用本地模型的理由。