Qwen论文SpecOPD:并行对草稿块进行On-policy蒸馏以加速推测解码(社区消息)
已核实(事实)
被介绍为Qwen团队论文的SpecOPD在r/LocalLLaMA上被分享。若要通过On-policy蒸馏进一步训练推测解码中的草稿模型(Drafter),通常需要依次经过草稿生成和验证的rollout。该论文利用无需这种顺序依赖也能监督草稿块这一点,实现了训练并行化。
待核实(说法)
声称即使接受长度(acceptance length)已停滞的草稿模型,性能也能进一步提升。
意义(解读)
这是降低推理加速用草稿模型训练成本的方法,可能直接影响开放模型的推理服务效率。
可信度 中 · 待补官方来源
来源
更多关于 Alibaba
-
据SCMP报道,Alibaba 9月季度营收增长10%至2,715亿元人民币,AI云与计算外部经常性收入激增67%
据SCMP报道,Alibaba截至9月30日的季度总营收同比增长10%,达2,715亿元人民币(约405亿美元),高于市场预期。推动增长的是AI云与计算相关外部客户的经常性收入,同期增长67%。该业绩来自整合了云业务和芯片设计子公司T-Head的“AI Cloud and...
-
Alibaba、Tencent、Moonshot AI等中国AI企业在出口管制出台前削弱模型网络攻击能力、强化防御能力(转述Bloomberg报道)
据援引Bloomberg报道的AI Times称,Alibaba、Tencent、Moonshot...
-
Alibaba办公AI“QwenWork”支持选用Kimi、GLM、DeepSeek等外部模型,可按部门、群组、个人管控访问(Pandaily报道)
据Pandaily报道,Alibaba扩大了企业办公工具QwenWork中可选用的模型范围。除自家Qwen模型外,还可使用Kimi(Moonshot AI)、GLM(Zhipu AI)、DeepSeek等其他公司的模型。企业管理员可按部门、群组和成员设定可访问的模型。
-
Artificial Analysis含音频视频生成榜单中国模型领先:Alibaba Wan 3.0居首,MiniMax H3第三、Seedance 2.5第四(报道)
据AI Times报道,在Artificial Analysis截至13日的含音频文本生成视频评测中,Alibaba的Wan 3.0以1175分位列第一。美国Utopai Studios的Utopai...
-
Qwen4-Max后续:Alibaba在预览后正式发布,称“单任务成本降低62%”,攻击性网络能力已从训练数据中过滤(据报道及社区转述)
据SCMP报道,Alibaba发布了其称迄今最先进的模型Qwen4-Max。据公司介绍,训练数据中刻意过滤了攻击性网络能力,同时保留了可用于防御的能力。据GeekNews摘要,该模型基于新的Qwen4架构,采用2.4万亿参数的主干,可直接输入图像和视频,上下文最长可处理10...