IQuest-Q1：面向智能体式 CLI 系统的开放 MoE 基础模型

问题

命令行界面（CLI）是语言模型访问工具、文件和代码执行的最通用途径。因此要打造更强的智能体，就需要 CLI 能力。同时，让大模型稳定、高效扩展的训练设计也是一项课题。

方法

这是一个从 256 个专家中激活 8 个的 MoE 模型（88 层，按 3:1 混合 GQA 与 SWA 的混合注意力，Query-Aware Sink）。结合只对注意力输入做归一化的 Stable SplitNorm、Muon 优化器和 μP，将在小型代理模型上找到的学习率直接迁移过来。预训练第 2 阶段将代码占比从 40% 提高到 70%，并在中期训练中将上下文按 32K→128K→512K 扩展（共 29T token）。在 100 万个以上容器化代码仓库实例中生成了智能体轨迹。后训练在多个脚手架上结合了 SFT、领域专用强化学习和多教师 On-policy 蒸馏（MOPD）。最后进行模型合并，并将一个 MTP 层改为递归式草稿器，用于推测解码（Speculative Decoding）。

结果

• 与使用相同数据训练、采用 Qwen3-30B-A3B 配置的 MoE 基线相比，扩展效率为 1.93 倍。作者报告称，达到相同训练损失只需约 52% 的计算量。
• 作者对其提出的临界模型规模（CMS）进行外推，估计在激活参数约 572B、总参数约 12T 以内仍有稳定性余量。
• 作者表示，模型在 DeepSWE v1.1、CyberGym、NL2Repo、JobBench、Humanity's Last Exam 等 8 个智能体与推理基准上展现了性能（所提供正文范围内没有具体数值）。

局限

所提供正文中各基准得分只在图中提及，无法确认与其他模型的定量比较。核心指标之一 IQuest-CLIBench 是未公开的内部基准。CMS 数值是将趋势外推到测量范围之外得到的估计值。扩展效率比较也仅是与一个 30B 级基线的比较。

意义

又多了一个专注于编码和 CLI 智能体的大型开放权重 MoE 模型。学习率迁移、衡量稳定性余量的指标（CMS）、大规模生成智能体轨迹的方法等训练经验也公开得较为详细。

关键术语

MoE(Mixture of Experts)

在多个专家 FFN 中为每个 token 只选择一部分进行计算的结构。总参数量很大，但每个 token 的计算量保持在激活参数的水平。

μP(Maximal Update Parametrization)

设定初始化和学习率缩放，使最优超参数在模型宽度变化时保持不变的方法。可以把在小模型上调好的值迁移到大模型。

MOPD

Multi-teacher On-policy Distillation。在学生模型自己的 rollout 上，把多个具备不同能力的冻结教师模型的知识合并到一个模型中的方法。

Speculative Decoding

由小型草稿器先提出多个 token，再由主模型一次性验证，从而提高推理速度的技术。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi, Feng Chang, Hongxin Li, 等 · 发布 2026-10-22 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。