← 2026年11月13日 简报 · 于韩国时间 00:00 更新时加入

Inkling 2 Small后续:正式加入Hugging Face Transformers v5.23.0,48个MoE层,每层从384个Expert中路由至8个

发布 2026年11月13日

已核实(事实)

Hugging Face发布Transformers v5.23.0,将Thinking Machines Lab的“Inkling 2 Small”纳入新支持的模型。据发布说明,该模型接收文本和图像输入并输出文本,设计上支持英语以外的多种语言及多种编程语言。语言主干由48个MoE解码器层组成,每层将token路由至384个Expert中的8个。总参数为594B,激活参数为17B。它保留了原有Inkling解码器的可学习相对注意力、短因果卷积和MoE层结构,并新增了块级注意力残差以及带可学习sink的门控注意力。权重是否已公开,无法从该资料中确认。

意义(解读)

使用广泛的Transformers库正式支持Inkling 2 Small,为此前预告的权重公开后企业直接用于定制开发打下了基础。官方文档首次披露了架构细节,使其可与其他大型MoE进行结构比较。

来源

资讯脉络

  1. 2026-11-06 Thinking Machines Lab发布总参数594B、激活17B的MoE模型Inkling 2 Small,支持图像输入和长时间自主任务(社区消息)
  2. 2026-11-07 Inkling 2 Small 后续:Thinking Machines Lab 计划公开权重,供企业定制开发(报道)
  3. 2026-11-13 Inkling 2 Small后续:正式加入Hugging Face Transformers v5.23.0,48个MoE层,每层从384个Expert中路由至8个

更多关于 Thinking Machines Lab