午后简报 · 16:00
推理重于训练,竞争转向运营
作者 · bombong
AI竞争的重心正从构建模型转向运行模型。中国政府下属机构表示,推理数据首次超过了训练数据。Meituan在推出超大模型的同时,突出强调了在国产芯片上进行低比特推理的效率。下午传来的消息共同指向一点:运营阶段的效率与秩序已成为新的课题。
数据揭示推理的比重
如果说上午的文章关注的是落地应用的成本,那么下午的消息则表明,这些成本主要积累在推理环节。中国工业和信息化部下属的CCID在10月31日的报告中指出,中国AI系统在推理过程中产生的数据首次超过了训练所用的数据。SCMP和Pandaily报道了这一消息11。Pandaily补充称,截至6月,中国日均token调用量已超过175万亿,较2024年初增长1000倍以上。政府机构把使用量作为成绩指标,可以从中看出重应用甚于重开发的方向。
Meituan的LongCat-2.5则在模型设计上体现了同样的趋势10。据Pandaily报道,该模型总参数量为1.6T,但每个token仅激活约48B参数,并且从一开始就按多模态架构设计。Meituan方面表示,该模型针对耗时较长的智能体编程任务,以长任务为单位进行了强化学习。Meituan还表示,已针对在国产芯片上进行W4A4(将权重和激活值都压缩为4比特的方式)推理做了优化。这可以看作是一种把模型做大、同时压低运行成本的设计。在使用量增长到如此规模的环境下,这也是自然的选择。
运营课题延伸至协调与验证
推理增多后,除了成本,还会出现其他需要解决的问题:如何让多个模型协同运转,以及如何验证其结果。Y Combinator与Olam Labs研究人员于10月29日公布的实验揭示了前一个问题13。据AI Times报道,研究人员给50个最新模型布置了共同建设文明的任务。智能体之间互发了5900条消息,忙于制定规则和分工,最终未能达成目标。这一案例说明,即便接入大量高性能智能体,如果缺乏决策结构,也只会推高通信成本。Meituan所瞄准的长周期智能体任务同样面临这一难题。
在结果验证方面,可以看到Google的动作。据InfoQ China的文章标题,Google将简化用于检测AI生成内容水印的SynthID Detector的验证流程,并将支持范围扩大到其他AI提供商的内容12。生成内容会扩散到单一公司的服务之外。来源验证工具也相应地试图超越单个模型,扩展为行业通用的手段。
尚未确认的空白
不过,仅凭今天的消息还难以对趋势下定论,空白之处仍然很多。关于CCID的数据,报道中并未详细说明统计方法,因此无法得知推理数据与训练数据是按什么标准比较的。LongCat-2.5方面,所收集的摘录中也没有关于是否开放权重、使用途径和基准测试的信息。实际推理效率需要依据官方资料来评估。
其余消息的适用范围也有限。Olam Labs的实验是在Minecraft等游戏环境中进行的,难以直接照搬到业务场景中。SynthID Detector方面,由于未收集到文章正文,无法确认涉及哪些公司以及从何时开始适用。这些消息指向的方向一致,但每项变化的幅度还需根据后续公告来判断。
对从业者而言,选择模型时不应只看训练规模,还应综合考虑推理成本、智能体之间的协调结构以及验证结果的手段。接下来需要确认LongCat-2.5的开放范围和基准测试结果,以及SynthID Detector所支持的提供商名单。在推理服务方面,vLLM新版本的变更内容也值得关注。
本文借助 AI 撰写,包含个人观点。
早间简报 · 08:00
AI普及:核查与接受的成本
作者 · bombong
阻碍AI普及的门槛,正从模型性能转向一线核查与接受所需的成本。澳大利亚律师调查显示,AI使用大幅增加,但也新增了核查成果的工作。围绕数据中心的地方舆论和企业内部智能体推广的课题,也指向同一方向。
引入之后留下的核查成本
一项调查显示,AI使用增加了,工作却并未相应减少。澳大利亚维多利亚州法律服务委员会及监管机构(VLSB+C)对2,221名律师的调查显示,律师的AI使用率在一年内升至55%4。然而,减轻工作负担和降低客户法律费用的效果未达预期。相反,律师新增了核查和修改客户用AI生成的不准确信息和文件的工作。
这一结果之所以重要,是因为它表明核查成本并未消失,只是换了位置。客户借助AI节省的时间,转移成了专业人士的审查时间。这意味着仅凭使用率这一数字,难以判断生产率效果。
Google的举措可以看作是从供给方降低这一成本的尝试。Google通过X宣布,其AI学习工具Gemini Notebook将向美国和印度用户免费提供OpenStax、Open Textbook Library、S Chand Publishing等出版的数百本教材2。这种方式让用户基于出版社教材学习,而不是自行上传来源不明的资料。如果一开始就把答案的依据限定在可靠资料上,用户需要额外核查的负担也会减轻。
同样的成本也出现在基础设施和组织中
核查与接受的问题不仅存在于成果层面。在建设基础设施的地区和引入AI的组织内部,也出现了类似的成本。
TechCrunch报道称,OpenAI可能将其数据中心改称为“AI compute campuses”1。此举出现在地方舆论对数据中心评价不佳之际。据社区转述的Axios报道,这一方案是中期选举后公关宣传活动的一部分,还包括让居民更多参与项目及其收益的内容。这表明在AI基础设施扩张中,电力与用水以及地方接受度已成为与技术同等重要的课题。
在韩国,SK Telecom表示将推进以AI为中心、在组织层面重新设计业务流程的“AX创新2.0”5。亲自构建智能体的员工已超过4,000人,约1,500个智能体投入实际业务使用。公司表示将一并解决推广过程中暴露出的数据访问、安全和系统对接问题。这意味着,比起构建智能体,将其安全地接入组织的数据和系统已成为下一步课题。
依据尚不均衡
不过,要对这一趋势下定论,依据还不够均衡。OpenAI更名一事依赖报道和转述,资料中没有公司的官方公告。是否真的会改名、居民参与方案将采取何种形式,目前尚不得而知。
维多利亚州的调查也只是一个地区、一个行业的结果。核查负担是引入初期的适应成本,还是会长期存在的结构,需要后续调查来确认。Google的教材提供同样仅限于美国和印度,目前也没有显示学习效果或错误减少效果的资料。默认内置经过审核的资料这一方式能在多大程度上真正减轻核查负担,还有待进一步观察。
对于引入AI的企业和从业者而言,剩下的问题与其说是使用率,不如说是核查与接受的成本由谁承担、承担多少。专业服务需要设计处理客户带来的AI成果的流程,基础设施运营商需要设计与地方分享收益的方式,企业内部的推进部门则需要同步设计数据访问与安全体系。接下来需要关注的是:OpenAI的官方立场和居民参与方案的具体内容是否公布,以及能否出现表明企业内部智能体推广确实带来工作时间节省的数据。
本文借助 AI 撰写,包含个人观点。
社区热议 6
Reddit、Hacker News、GeekNews 等社区广泛讨论的话题。这些是社区反应,可能包含未经核实的说法。
- 50个Minecraft智能体实验 Y Combinator与Olam Labs让50个GPT-6.1 Sol智能体在Minecraft中用3小时建设文明,结果它们没有搞建设,而是忙于食物配给和审批流程管理。这一实验同时出现在HN和GeekNews上。据称在第一晚死亡集中发生后,智能体减少了探索,留在避难所中。
- AI应用成效与信任之争 一篇报道称Apollo经济学家表示“在大多数企业中,AI的财务回报为零”,在HN上获得200多分。Proton CEO回应要求留出渗透测试时间的工程师称这是“失败者心态”的帖子也成为话题。Kyle Kingsbury则指出,LLM正在侵蚀人们对文档和软件的信任。
- AI时代的数学研究 有文章指出,AI给出证明的速度与人类理解和发展这些证明的速度之间差距正在扩大,应重新审视奖励“首个证明”的惯例。一位数学家的乐观观点也引发关注:AI将帮助数学家摆脱悬而未决的猜想,去探索更深层的问题。
- 本地LLM实际使用 有用户分享,用一张RTX 3090 Ti加128GB内存,DeepSeek-V4.1-Flash-1017跑出每秒35个token,Qwen3.8-Flash-Next跑出每秒130个token。此外还有帖子询问Gemma 4 E4B之后用于工具调用的小模型替代方案,以及为Godot生成3D素材的4B模型GLB-3D-Coder、在2006年的iPod上运行llama2.c的实验。
- Claude限制与订阅额度体感 一篇对比帖广泛传播:Gemini 4 Argon复现了Pixar片头,而Claude Opus 5.5以版权为由拒绝。同时还有帖子称,用Anthropic最高档套餐跑4个Opus 5.5会话5小时,用量仅为8%;也有用户抱怨OpenAI的订阅条件正在变差。
- 改善数据中心形象 针对OpenAI可能将数据中心改称为“AI compute campuses”的消息,有人回应称仅改名无法回应电费和用水方面的担忧。戴密斯·哈萨比斯(Demis Hassabis)称数据中心应建得美观、并认真对待对周边环境影响的采访也被再次分享。