← 2026年11月13日 简报 · 于韩国时间 00:00 更新时加入
Inkling 2 Small后续:正式加入Hugging Face Transformers v5.23.0,48个MoE层,每层从384个Expert中路由至8个
发布 2026年11月13日
已核实(事实)
Hugging Face发布Transformers v5.23.0,将Thinking Machines Lab的“Inkling 2 Small”纳入新支持的模型。据发布说明,该模型接收文本和图像输入并输出文本,设计上支持英语以外的多种语言及多种编程语言。语言主干由48个MoE解码器层组成,每层将token路由至384个Expert中的8个。总参数为594B,激活参数为17B。它保留了原有Inkling解码器的可学习相对注意力、短因果卷积和MoE层结构,并新增了块级注意力残差以及带可学习sink的门控注意力。权重是否已公开,无法从该资料中确认。
意义(解读)
使用广泛的Transformers库正式支持Inkling 2 Small,为此前预告的权重公开后企业直接用于定制开发打下了基础。官方文档首次披露了架构细节,使其可与其他大型MoE进行结构比较。
来源
- 官方 Release v5.23.0 Hugging Face
资讯脉络
- 2026-11-06 Thinking Machines Lab发布总参数594B、激活17B的MoE模型Inkling 2 Small,支持图像输入和长时间自主任务(社区消息)
- 2026-11-07 Inkling 2 Small 后续:Thinking Machines Lab 计划公开权重,供企业定制开发(报道)
- 2026-11-13 Inkling 2 Small后续:正式加入Hugging Face Transformers v5.23.0,48个MoE层,每层从384个Expert中路由至8个
更多关于 Thinking Machines Lab
-
Inkling 2 Mini后续:Ollama v0.40.17支持直接运行,“SWE-Bench Verified 79.2%”,并新增Apple silicon并发请求处理
Ollama在v0.40.17版本(标签为rc4)中支持Thinking Machines Lab的Inkling 2 Mini,只需一条`ollama run...
-
Thinking Machines Lab 发布循环结构开放权重模型 Inkling 2 Mini:总参数 26B、激活 5.4B,约 20GB 即可在 Mac 上运行
Thinking Machines Lab 发布了开放权重模型 Inkling 2 Mini,Hugging Face 博客和 Ollama v0.40.17 版本对其进行了介绍。该模型总参数约 26B,每个 token 激活 5.4B;采用循环结构,每个 token...
-
Inkling 2 Small 后续:Thinking Machines Lab 计划公开权重,供企业定制开发(报道)
据 AI Times 报道,由米拉·穆拉蒂(Mira Murati)领导的 Thinking Machines Lab 于当地时间 5 日在官方博客发布了第二代模型“Inkling 2...
-
Thinking Machines Lab发布总参数594B、激活17B的MoE模型Inkling 2 Small,支持图像输入和长时间自主任务(社区消息)
据GeekNews报道,Thinking Machines Lab发布了第二代MoE模型Inkling 2...