← 2026년 10월 28일 브리핑 · 16:00 업데이트로 추가
Artificial Analysis 지능 지수 v5로 대폭 개편…오픈 웨이트와 클로즈드 모델 격차 3점에서 12점으로, 60%는 비공개 테스트셋 기반(커뮤니티 전언)
발표 2026년 10월 28일
확인된 내용 (사실)
Reddit 게시글에 따르면 Artificial Analysis가 지능 지수(Intelligence Index)를 v5로 개편했다. 게시글이 인용한 발표에 따르면 이번 개편으로 오픈 웨이트 모델과 클로즈드 모델의 점수 차가 3점에서 12점으로 벌어졌다. 지수의 60%는 비공개 테스트셋이나 정답을 공개하지 않은 평가에서 나와 외부에서 결과를 재현할 수 없다. 'GPT-6.1 Terra가 Fable 5.1보다 높다' 같은 순위가 실제 사용 경험과 다르다는 지적도 나왔다.
팩트체크 필요 (주장)
Artificial Analysis는 v5가 순위를 더 정확하게 매긴다고 설명한다.
의미 (해석)
모델 선택과 언론 보도에 자주 인용되는 지수라서, 개편만으로 '오픈 모델이 따라잡았다'는 시각이 크게 바뀔 수 있다. 반면 비공개 평가 비중이 커져 검증하기는 더 어려워졌다.
신뢰도 보통 · 공식 출처 확인 전
출처
Artificial Analysis 관련 다른 소식
-
Mistral Large 4 후속: 프리뷰 이후 강화학습 늘린 개선판…사이버 방어용으로 내세우고 Coding Agent Index 48%(보도)
TechCrunch에 따르면 Mistral AI는 1T 파라미터 모델 Mistral Large 4의 가중치를 공개하면서 사이버 보안을 주요 용도로 내세웠다. GeekNews 요약을 보면 이번 가중치는 공개 프리뷰 뒤 강화학습을 늘려 코딩,...
-
DeepSeek V4.1-Flash-1017 후속: 외부 평가의 Terminal-Bench 4.0 점수는 34%·31.8%로 모델 카드 42.3%보다 낮아(커뮤니티 전언)
Reddit 게시글에 따르면 모델 카드에 적힌 V4.1-Flash-1017의 Terminal-Bench 4.0 점수는 42.3%다. 같은 벤치마크에서 Artificial Analysis(AA)는 34%, Vals Index는 31.82%로...
-
Artificial Analysis, LLM의 로봇 작업 수행 능력을 재는 벤치마크 'AA-Robotics v0.1' 공개(커뮤니티 전언)
Reddit 글에 따르면 Artificial Analysis가 LLM의 로봇 작업 수행 능력을 순위로 매기는 벤치마크 'AA-Robotics v0.1'을 공개했다. 아직 등록된 모델은 몇 개뿐이다. 글쓴이는 여러 모델이 과제 대부분을 완료하지만...