← 2026年10月28日 简报 · 于韩国时间 16:00 更新时加入
Artificial Analysis智能指数大幅改版至v5:开放权重与闭源模型差距从3分扩大到12分,60%基于非公开测试集(社区消息)
发布 2026年10月28日
已核实(事实)
据Reddit帖子,Artificial Analysis将其智能指数(Intelligence Index)改版为v5。根据帖子引用的公告,此次改版后开放权重模型与闭源模型的分差从3分扩大到12分。指数的60%来自非公开测试集或未公开答案的评测,外部无法复现结果。也有人指出,“GPT-6.1 Terra高于Fable 5.1”这类排名与实际使用体验不符。
待核实(说法)
Artificial Analysis表示v5的排名更加准确。
意义(解读)
该指数经常被用于模型选型和媒体报道,仅凭改版就可能大幅改变“开放模型已经追上”的看法。另一方面,非公开评测比重增加,使验证变得更加困难。
可信度 中 · 待补官方来源
来源
更多关于 Artificial Analysis
-
Artificial Analysis含音频视频生成榜单中国模型领先:Alibaba Wan 3.0居首,MiniMax H3第三、Seedance 2.5第四(报道)
据AI Times报道,在Artificial Analysis截至13日的含音频文本生成视频评测中,Alibaba的Wan 3.0以1175分位列第一。美国Utopai Studios的Utopai...
-
Mistral Large 4后续:预览后加强强化学习的改进版,定位网络防御,Coding Agent Index得分48%(据报道)
据TechCrunch报道,Mistral AI在公开1T参数模型Mistral Large...
-
DeepSeek V4.1-Flash-1017后续:外部评测的Terminal-Bench 4.0得分为34%和31.8%,低于模型卡的42.3%(社区消息)
据Reddit帖子,模型卡中V4.1-Flash-1017的Terminal-Bench 4.0得分为42.3%。在同一基准上,Artificial Analysis(AA)统计为34%,Vals Index为31.82%。模型卡称其使用Claude Code...
-
Artificial Analysis发布衡量LLM机器人任务执行能力的基准“AA-Robotics v0.1”(社区消息)
据Reddit帖子,Artificial Analysis发布了对LLM机器人任务执行能力进行排名的基准“AA-Robotics v0.1”。目前收录的模型只有几个。发帖者称,多个模型能完成大部分任务,但速度非常慢。