午后简报 · 16:00
AI竞争向模型底层延伸
作者 · bombong
今天下午的消息显示,AI竞争已不只是模型性能之争,正延伸为争夺模型底层基础的较量。大型算力合同谈判、进入大规模出货阶段的芯片设计、用于机器人评测的基准,以及保证输出格式的功能,在同一天相继出现。
算力与芯片:最底层的争夺
如果说上午的文章把芯片和模型视为可替换的部件,下午的消息则把视线转向能拿到多少这样的部件。TechCrunch援引报道称,Anthropic正与AI基础设施公司Nscale洽谈一项规模450亿美元的算力合同33。若达成,Anthropic过去一年接连签下的大型算力合同又将增加一项。前沿实验室的下一代模型,归根结底建立在这类合同的规模之上。
在芯片设计层面,规模也在不断累积。Alibaba DAMO Academy表示,基于XuanTie RISC-V架构出货的芯片已超过60亿颗39。该公司计划将开放标准RISC-V(任何人都可使用的芯片指令集架构)扩展到AI和汽车系统。算力合同与芯片设计基础虽处于不同层级,但都是为了先掌握运行模型的基础。
评测与连接也成为基础
同样的趋势也出现在验证模型并将其接入业务的层面。在机器人领域,据报道,由NVIDIA机器人学习研究人员创立的Dream Labs在成立三个月后获得9,000万美元种子轮融资36。其目标是用一个模型控制不同厂商的机器人。然而,这类通用模型越多,在真实设备上验证性能的成本就越成为问题。
X Square Robot发布的仿真基准“X2Real”正针对这一点37。该基准按真实硬件进行了校准,由10个类别、44项任务组成。公司称,仿真与真实成功率之间的相关系数为0.96。
在业务连接方面,AWS表示Amazon Bedrock上的所有Claude模型均已支持结构化输出34。AWS称,无需额外的解析或重试逻辑,即可获得符合schema的JSON。在输出格式一旦出错就会中断的代理流水线中,这种保证与模型性能同样重要。
模型竞争仍在前端
不过,现在就断定重心只在向基础层转移还为时过早。据AI Times援引The Information的报道,Anthropic、Google和OpenAI都在准备新模型35。试用过未发布模型的知情人士表示,模型在说明不充分的请求中读出潜在意图的能力有所提升。模型本身的更替周期依然很快。
各项依据的可靠程度也参差不齐。Nscale合同仍处于谈判阶段,两家公司均未正式公布。X2Real的0.96是公司公布的数字,未经外部验证。“基础层竞争”这一解读在方向上是明确的,但具体数字仍有待确认。
对从业者而言,今天消息的启示是:在选择模型的同时,也要一并考量该模型所依赖的算力供应、评测方式和输出保证功能。接下来仍需关注Claude Fable 5.5是否正式发布,以及MiniMax M3.1 Flash是否在10月23日公开权重。经由编程代理安装的工具感染恶意软件等代理供应链安全问题,也需要持续关注。
本文借助 AI 撰写,包含个人观点。
早间简报 · 08:00
可替换的AI技术栈,仍待解决的管控课题
作者 · bombong
在AI开发的执行层,更换芯片和模型正变得越来越容易,管理这些选择也随之成为新课题。今天发布的开发工具和云服务消息共同指向一个方向:把PyTorch代码迁移到其他加速器上,并用代码来规定组织可使用的模型。与此同时,有关编码智能体API密钥泄露的报道表明,选择越多,需要守护的接触点也越多。
换了芯片,代码依然不变
最直接的信号来自硬件层。AWS发布了在其自研芯片Trainium上运行PyTorch模型的开发工具TorchNeuron。TechCrunch报道称,Amazon希望借助该工具,让大多数AI应用所使用的PyTorch也能在NVIDIA GPU以外的硬件上运行1。Hugging Face表示,在Trainium上运行其Hub中的模型比以往任何时候都更容易。不过,正式发布范围和支持模型列表尚未得到确认。
商用模型的移植也已在进行中。Deepgram与AWS Forward Deployed Engineering团队合作,将语音识别模型Nova-3移植到Trainium2上,用于离线批量推理6。这项工作涉及Neuron栈移植、内核级调优以及用Rust构建的数据并行运行时。由此可见,无需修改代码的切换只是起点,实际性能仍取决于内核层面的工作。
GPU一方也在朝同一方向发展。NVIDIA介绍了如何用基于Python的DSL(领域特定语言)cuTile构建SSM类模型Mamba-2的前向传播内核7。该公司称,cuTile旨在自动利用GPU的高级功能。芯片厂商和云服务商都在致力于把硬件优化隐藏到开发者熟悉的语言层之下。
模型选择也交由代码管理
芯片层的替换在模型层同样上演。GitHub已支持通过REST API查询和修改企业、团队、应用及组织级的Copilot模型策略10。同一时期,GitHub自10月19日起停止支持部分模型,涉及Chat、agent模式、代码补全等大部分Copilot功能19。模型增减的周期越短,用代码而非人工来管理允许列表的理由就越充分。
托管平台则充当接入专用模型的窗口。AWS已在Amazon Bedrock上线TwelveLabs的视频语言模型Pegasus 1.54。用户设定要查找的场景后,它会从最长2小时的视频中,以带时间戳的JSON返回相应片段。对客户而言,这意味着无需新建基础设施,只需多接入一个API。
要更换模型,还需要有判断依据。OpenAI介绍了提升ChatGPT在训练数据稀缺的编程语言上编码能力的工作,并新发布了涵盖SQLite、COBOL迁移等内容的评测2。分数和适用模型未见于所收集的摘录。不过,随着像遗留系统迁移这样针对特定任务的评测增多,企业选择模型的标准也可能细化到任务层面。
选择更多,接触点也更多
易于替换的架构也会增加需要管理的接触点。TechCrunch报道,开源编码智能体OpenCode的部分在线平台遭到入侵,部分用户的API密钥因此外泄,这些用户的AI账户被收取了费用3。把多个模型的密钥集中存放在一个工具中的做法,本身就成了需要检查的对象。
看待安全的视角也在变化。据报道,Microsoft表示应像对待内部威胁一样对待员工使用的AI智能体,并主张应以“前沿模型不可信任”为前提来管理智能体11。这种观点把智能体安全视为权限与行为监控问题,而非对模型的信任问题。不过也需考虑到,这是一家从事安全业务的平台企业的看法。
验证手段也还不够充分。Hugging Face首席政策官Irene Solaiman表示,基准评测仍然复杂且不成熟,在开发过程中设置评估者的做法也并非简单的解法20。可移植性方面的依据同样单薄:TorchNeuron的支持范围尚未确认,Deepgram的案例也没有吞吐量和成本数据。多条消息共同指向了方向,但实际的成本效益仍有待观察。
今天的消息给从业者的启示很明确:设计时应以芯片和模型可更换为前提,同时把允许模型策略、API密钥轮换与用量上限以及按任务的评测纳入同一管理层。接下来需要关注经由编码智能体安装的工具感染恶意软件的案例是否会增多,还要留意定于10月23日公开MiniMax M3.1 Flash权重时,外部基准测试结果能否得到复现。
本文借助 AI 撰写,包含个人观点。
社区热议 5
Reddit、Hacker News、GeekNews 等社区广泛讨论的话题。这些是社区反应,可能包含未经核实的说法。
- AI时代开发者的工作 一位有15年经验的工程师坦言,Claude从Jira工单到PR审查一手包办,让自己有被挤出局的感觉;询问部署自己并不理解的AI代码这一情况的帖子、一位开发者称已将所有Ruby gem仓库归档的帖子,以及称依然可以享受编程的帖子也一同引发热议。
- Mercury 3扩散LLM 有说法称Inception的扩散LLM Mercury 3以每秒1,000 token以上的速度达到GPT-6 Luna、Claude Haiku 5.5级别的质量,也有亲测反馈称其与Luna相当,有时甚至更好。
- 智能体框架(harness)工程 有人分享了把LLM视为大脑、把管理对话状态的程序视为身体、用300行Python讲解harness的文章,用tmux运行Claude Code会话的方法,以及无需审批即可运行规划、并行实现和审查的Claude Code插件Superlite。
- AI垃圾内容(slop)与文风去除 r/LocalLLaMA等社区出现了分析AI式文章增加了多少的帖子,还有人发布了用161条回答微调Qwen3-4B、减少AI特有文风的模型。
- ChatGPT模型替换与用量 社区有说法称,即使选择GPT 5.6 High,在新对话中也会被换成GPT-6 medium,还有帖子抱怨所有人的用量上限都被下调。