← 2026年10月14日 简报 · 于韩国时间 00:00 更新时加入

社区消息:NVIDIA将于10月15日发布“Nemotron Bolt 3.5 74B-A9B”,以2比特量化将MoE模型压缩至24GB

发布 2026年10月14日

已核实(事实)

据Reddit r/LocalLLaMA帖子称,NVIDIA将于10月15日发布“Nemotron Bolt 3.5 74B A9B”。该模型为MoE模型,总参数74B、激活参数9B,据称通过量化感知训练(QAT)保持质量,并以2比特量化压缩至24GB。帖子还称,4GB大小的“Nemotron 3.5 Bolt E4B”将于10月23日发布。所收集资料中没有NVIDIA的官方公告。

待核实(说法)

帖子称,该模型比大多数占用相近显存的热门Dense模型更快,性能也高于大多数规模相近的MoE模型。

意义(解读)

若属实,单张24GB消费级GPU即可运行70B级MoE模型。这一案例可用来检验极低比特量化在本地推理中是否已进入实用阶段。

可信度 低 · 待补官方来源

来源

更多关于 NVIDIA