← 2026年10月19日 简报 · 于韩国时间 20:00 更新时加入

DeepSeek V4.1-Flash-1017后续:外部评测的Terminal-Bench 4.0得分为34%和31.8%,低于模型卡的42.3%(社区消息)

已核实(事实)

据Reddit帖子,模型卡中V4.1-Flash-1017的Terminal-Bench 4.0得分为42.3%。在同一基准上,Artificial Analysis(AA)统计为34%,Vals Index为31.82%。模型卡称其使用Claude Code harness进行测量。发帖者推测,得分差异可能源于外部机构使用了不同的harness。作为对比,Fable 5的得分在AA为42%,在Vals为41.41%。GeekNews文章称该模型在AA Intelligence Index中获得45分,而规模相近的开放权重模型中位数为19分。

待核实(说法)

按模型卡,Terminal-Bench 4.0得分为42.3%(使用Claude Code harness)。

意义(解读)

这一案例表明,同一模型的智能体基准得分可能因harness和测量条件不同而相差近10个百分点。选择模型时不应仅看官方公布的数据,而应结合外部评测进行比较。尽管如此,按外部指数衡量,该模型在同规模开放模型中仍位居前列。

可信度 中 · 待补官方来源

来源

资讯脉络

  1. 2026-10-17 DeepSeek在Hugging Face发布“V4.1-Flash-1017”,Terminal-Bench 4.0从31.2升至42.3(社区消息)
  2. 2026-10-17 DeepSeek V4.1 Flash 1017后续:公司首个CED(Causal Encoder-Decoder)架构,原生支持图像理解,总参数552B,输入激活8B、输出激活16B(社区消息)
  3. 2026-10-18 DeepSeek V4.1-Flash-1017后续:确认正式发布,权重采用MIT许可证,已用于网页、App和API,价格不变(报道)
  4. 2026-10-19 DeepSeek V4.1-Flash-1017后续:外部评测的Terminal-Bench 4.0得分为34%和31.8%,低于模型卡的42.3%(社区消息)

更多关于 DeepSeek